爬取思路是这样的,先挖取所有股票的代码,放进数据库,然后根据股票代码爬取每一只股票的评论,多了,一定要加入代理池,我这里用的上上一篇文章写的代理池,我们给每个股票代码赋予一个状态值,一开始是outstanding,也就是1.如图
嗯!当一个所有初始的股票状态都为outstanding;当开始爬取的时候状态改为:processing;爬取完成状态改为:complete;失败的股票重置状态为:outstanding。为了能够处理股票进程被终止的情况、我们设置一个计时参数,当超过这个值时;我们则将状态重置为outstanding。
股票代码的爬取很简单,直接访问主页就好了
代码上比较简单,如图是其中一段
爬取之后我们看看数据库
这里5000来只股票
接下来看看股票评论的ajax请求
随便点开一只股票,然后点击里面的讨论就会触发该请求,评论时个json数据,解析之后直接提取就好了,这里简单说说URL里面的参数
如图
我们再处理一下
晚上开电脑跑了一个通宵,还以为自己的高性能电脑很吊,结果也只是跑了30万条数据,上两张结果图
谢谢大家阅读!谢谢蜗牛仔大大的文章,真的牛逼!
百度搜索“就爱阅读”,专业资料,生活学习,尽在就爱阅读网92to.com,您的在线图书馆!