写到这里可以看到搜索首页的网址中
keyword
和
wq
都是你输入的词,如果你想要爬取更多的信息,可以将这两个词改成你想要搜索的词即可,直接将汉字写上,在请求的时候会自动帮你编码的,我也试过了,可以抓取源码的,如果你想要不断的抓取,可以将要搜索的词写上文件里,然后从文件中读取就可以了。以上只是一个普通的爬虫,并没有用到什么框架,接下来将会写
scrapy
框架爬取的,请继续关注我的博客哦!!!
来源: http://www.tuicool.com/articles/MVBVBzu