发现 写入 getc number range src requests color 但是
记上一次v1.0的空间爬虫之后,准备再写一个爬虫分析本人说说的点赞情况
首先分析Json:
可以发现点赞的节点为data-->vFeeds(list)-->like-->likemans(list)-->user-->nickname&uin
代码如下:
- for i in range(0, page):
- try:
- html = requests.get(url_x + str(numbers) + url_y, headers=headers).content
- data = json.loads(html)
- if ‘vFeeds‘ in data[‘data‘]:
- for vFeed in data[‘data‘][‘vFeeds‘]:
- if ‘like‘ in vFeed:
- for like_man in vFeed[‘like‘][‘likemans‘]:
- qq_list.append(int(like_man[‘user‘][‘uin‘]))
- # 这个dict需要定义在循环内,因为下面list.append()是引用传递
- like_me_map = dict()
- like_me_map[‘nick_name‘] = like_man[‘user‘][‘nickname‘]
- like_me_map[‘qq‘] = like_man[‘user‘][‘uin‘]
- like_me_list.append(like_me_map)
- numbers += 40
- time.sleep(10)
- print(‘正在分析前‘ + str(numbers) + ‘条数据‘)
- except:
- numbers += 40
- time.sleep(10)
- print(‘第‘ + str(numbers) + ‘条数据附近分析出错‘)
like_me_list是一个list of dict,qq_list是所有QQ号的集合,现在定义一个dict来方便查询qq与昵称:
- # 建立一个QQ与昵称对应的map,以便查询
- qq_name_map = dict()
- for man in like_me_list:
- qq_name_map[man[‘qq‘]] = man[‘nick_name‘]
利用set实现自动去重并计算count:
- # 计算点赞次数,并将次数与QQ映射存入map
- qq_set = set(qq_list)
- for qq in qq_set:
- like_me_result[str(qq)] = qq_list.count(qq)
再按点赞次数降序排序处理,此处代码比较丑陋=。=:
- # 以下处理为:按点赞次数排序后存入一个新的map作为最终结果,代码很不优雅=。=
- num_result = sorted(like_me_result.values(), reverse=True)
- print(num_result)
- for num in num_result:
- for key in like_me_result.keys():
- if like_me_result[key] == num:
- result[qq_name_map[key]+‘(‘ + key + ‘)‘] = num
最后,写入文件,大功告成:
- try:
- with open(os.getcwd() + ‘\\‘ + ‘like_me_result.txt‘, ‘wb‘) as fo:
- for k, v in result.items():
- record = k + ‘: 点赞‘ + str(v) + ‘次!\r\n‘
- fo.write(record.encode(‘utf-8‘))
- print("点赞数据结果分析写入完毕")
- except IOError as msg:
- print(msg)
然而最后我发现一个问题,就是QQ空间返回的json点赞数据并不是完整的,如图:
num代表点赞人数,一共13人点赞,但是我观察发现所有说说点赞人数集合likemans最多只有3个
我猜可能是因为mobile QQ空间页面不需要显示点赞信息,所以才没有完整的点赞信息,如图:
UI显示上面并没有点赞的信息显示=。=
所以这个爬虫只能算一个半成品
QQ空间Python爬虫v2.0--点赞数据分析
发现 写入 getc number range src requests color 但是
原文:http://www.cnblogs.com/neilshi/p/7942923.html
来源: http://www.bubuko.com/infodetail-2413420.html