一: 什么是爬虫
请求网站并提取数据的自动化程序
二: 爬虫基本流程
a. 发起请求
通过 HTTP 库向目标站点发起请求, 即发送一个 Request, 请求可以包含额外的 headers 等信息, 等服务器响应
b. 获取响应内容
如果服务器能正常响应, 会得到一个 Response,Response 的内容便是所要获取的页面内容, 类型可能有 html,Json 字符串, 二进制数据 (如图片视频) 等类型
c. 解析内容
得到的内容可能是 HTML, 可以用正则表达式, 网页解析库进行解析可能是 Json, 可以直接转换为 Json 对象解析, 可能是二进制数据, 可以做保存或者进一步的处理
d. 保存数据
保存形式多样, 可以存为文本, 也可以保存至数据库, 或者保存特定格式的文件
三: 什么是 RequestsResponse?
(1): 浏览器发送消息给该网址所在的服务器, 这个过程叫做 HTTP Request
(2): 服务器收到浏览器发送的消息后, 能够根据浏览器发送的内容, 做相应处理, 然后把消息回传给浏览器这个过程叫做 HTTP Response
(3): 浏览器收到服务器的 Response 信息后, 会对信息进行相应处理, 然后展示
四: Request 包含哪些?
a 请求方式
主要有 GETPOST 两种类型, 另外还有 HEADPUTDELETEOPTIONS 等
b 请求 URL
URL 全称统一资源定位符, 如一个网页文档, 一张图片一个视频等都可以用 URL 唯一来确定
c 请求头
包含请求时的头部信息, 如 User-Agent,Host,Cookies 等信息
d 请求体
请求时额外携带的数据如表单提交时的表单数据
五: Response 中包含什么?
a 响应状态
有多种响应状态, 如 200 代表成功 301 跳转 404 找不到页面 502 服务器错误
b 响应头
如内容类型内容长度服务器信息设置 Cookie 等等
c 响应体
最主要的部分, 包含了请求资源的内容, 如网页 HTML 图片二进制数据等
六: 能抓取怎样的数据:
1 网页文本: 如: HTML 文档, json 格式文本
2 图片: 获取到的是二进制文件, 保存为图片格式
3 视频: 同为二进制文件, 保存为视频格式即可
4 其他: 只要能请求到的, 都能获取
七: 解析方式:
1 直接处理
2json 解析
3 正则表达式
- pyquery
- xpath
- beautifulsoup
八: 如何解决 JavaScript 渲染问题?
1 分析 Ajax
- Selenium/webDriver
- Splash
- pyV8Ghost.py
保九: 存数据:
1 文本: 纯文本, Json,xml
2 关系型数据库, 如 mysqloraclesql server 等具有结构化表结构形式存储
3 非关系型数据库, 如 mongodbredis 等 key-value 形式存储
4 二进制文件, 如图片视频音频等直接存成特定格式即可
来源: http://www.bubuko.com/infodetail-2548297.html