平时我们的爬虫多是针对网页的, 但是随着手机端 APP 应用数量的增多, 相应的爬取需求也就越来越多, 因此
手机端 APP 的数据爬取
对于一名爬虫工程师来说是一项必备的技能我们知道, 网页爬取的时候我经常使用 F12 开发者工具或者 fiddler 之类的工具来帮助我们分析浏览器行为那对于手机的 APP 该如何使用呢? 同样的, 我们也可以使用 fiddler 来分析好了, 本篇博主将会给大家介绍如何在电脑端使用 fiddler 进行手机 APP 的抓包
首先了解一下 fiddler(百度百科):
Fiddler 是一个 http 协议调试代理工具, 它能够记录并检查所有你的电脑和互联网之间的 http 通讯, 设置断点, 查看所有的进出 Fiddler 的数据 (指 cookie,html,js,CSS 等文件, 这些都可以让你胡乱修改的意思) Fiddler 要比其他的网络调试器要更加简单, 因为它不仅仅暴露 http 通讯还提供了一个用户友好的格式
完成此项工作的整个流程可分为如下几个步骤
1. 下载 fiddler 抓包工具
fiddler 的官方下载链接: www.telerik.com/downl...
安装步骤没什么特别, 常规下一步完成即可
2. 设置 fiddler
这里有两点需要说明一下
设置允许抓取 HTTPS 信息包
操作很简单, 打开下载好的 fiddler, 找到 Tools -> Options, 然后再 HTTPS 的工具栏下勾选
Decrpt HTTPS traffic
, 在新弹出的选项栏下勾选
Ignore server certificate errors
设置允许外部设备发送 HTTP/HTTPS 到 fiddler
相同的, 在 Connections 选项栏下勾选
Allow remote computers to connect
, 并记住上面的端口号
8888
, 后面会使用到
好了, 需要的 fiddler 设置就配置完成了
3. 设置手机端
设置手机端之前, 我们需要记住一点: 电脑和手机需要在同一个网络下进行操作
可以使用 wifi 或者手机热点等来完成
假如你已经让电脑和手机处于同一个网络下了, 这时候我们需要知道此网络的 ip 地址, 可以在命令行输入 ipconfig 简单的获得, 如图
好了, 下面我们开始手机端的设置
手机 APP 的抓取操作对于 Android 和 Apple 系统都可用, 博主使用的苹果系统, 在此以苹果系统为例
进入到手机 wifi 的设置界面, 选择当前连接网络的更多信息, 在苹果中是一个叹号然后在最下面你会看到 HTTP 代理的选项, 点击进入
进入后, 填写上面记住的 ip 地址和端口号, 确定保存
4. 下载 fiddler 安全证书
在手机上打开浏览器输入一个上面
ip 地址和端口号
组成的 url:http://192.168.43.38:8888, 然后点击
FiddlerRoot certificate
下载 fiddler 证书
以上就简单完成了所有的操作, 最后我们测试一下是否好用
5. 手机端测试
就以知乎 APP 为例, 在手机上打开 知乎 APP 下面是电脑上 fiddler 的抓包结果
结果没有问题, 抓到信息包然后就可以使用我们分析网页的方法来进行后续的操作了
来源: https://juejin.im/entry/5aa48b2e518825558251faf5