这里有新鲜出炉的Python多线程编程,程序狗速度看过来!
Python 是一种面向对象、解释型计算机程序设计语言,由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年。Python语法简洁而清晰,具有丰富和强大的类库。它常被昵称为胶水语言,它能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。
这篇文章主要介绍了Python实现爬取需要登录的网站,结合完整实例形式分析了Python登陆网站及数据抓取相关操作技巧,需要的朋友可以参考下
本文实例讲述了Python爬取需要登录的网站实现方法。分享给大家供大家参考,具体如下:
- import requests
- from lxml import html
- # 创建 session 对象。这个对象会保存所有的登录会话请求。
- session_requests = requests.session()
- # 提取在登录时所使用的 csrf 标记
- login_url = "https://bitbucket.org/account/signin/?next=/"
- result = session_requests.get(login_url)
- tree = html.fromstring(result.text)
- authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
- payload = {
- "username": "<你的用户名>",
- "password": "<你的密码>",
- "csrfmiddlewaretoken": authenticity_token # 在源代码中,有一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。
- }
- # 执行登录
- result = session_requests.post(
- login_url,
- data = payload,
- headers = dict(referer=login_url)
- )
- # 已经登录成功了,然后从 bitbucket dashboard 页面上爬取内容。
- url = 'https://bitbucket.org/dashboard/overview'
- result = session_requests.get(
- url,
- headers = dict(referer = url)
- )
- # 测试爬取的内容
- tree = html.fromstring(result.content)
- bucket_elems = tree.findall(".//span[@class='repo-name']/")
- bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
- print(bucket_names)
希望本文所述对大家Python程序设计有所帮助。
来源: http://www.phperz.com/article/17/1023/351007.html