使用 web Scraper 插件, 不需要编程, 也能爬网, 使用 Web Scraper 插件, 能够创建一个网站地图, 并能遍历网站, 抓取我们感兴趣的数据, 比如, 我们登陆淘宝, 京东等商务网站, 我们可以通过 Web Scraper, 抓取某一类商品的规格说明, 价格, 厂家等信息, 我们通过 Web Scraper 可以抓取我们进入头条上的最热门的文章, 也可以抓取我们自己的所有文章列表, 发布时间, 阅读和浏览量等信息, 当然也能抓取我们的粉丝列表 最最最重要的是, 你不需要写任何的代码, 只需点击, 点击, 点击, 最后还能把抓取的结果导出为 Excel 可以识别的 CSV 格式这功能, 爽!!!
其官方网站如下: http://webscraper.io/tutorials
Web Scraper Chrome 插件的安装
打开 Chrome 浏览器, 输入下面的 URL 地址:
https://chrome.google.com/webstore/detail/web-scraper/jnhgnonknehpejjnehehllkliplmbmhn
点击 Added to Chrome 就安装了, 安装后, 在浏览器中按下 F12 或者点击右键, 选择检查 (Inspect), 在开发者工具下面就能看到 WebScraper 的 Tab
Web Scraper Chrome 插件的入门例子
下面以抓取京东上面的所有的手机信息为例子, 使用 Web Scraper 演示一下其使用和操作方法
Step1. 创建一个京东手机的 SiteMap(网站站点图)
Step2. 在 SiteMap 上点击选择需要抓取的信息
如下图所示意, 想抓取当前京东上, 热门推荐的手机的网站和品牌信息, 则抓取方法如下: 命名一个 id, 这个 id 是自己定义的, 然后选择抓取的类型, 比如本例子中我们选择, Link
- Link
- PopupLink
- Table
- Element Attribute
- Image
- Groupped
- html
- Element
- Element Click
- Element Scroll down
然后选择你感兴趣元素, 比如我选择了 iPhone, 荣耀, 小米, 华为, Vivo,Oppo, 其会自动生成一个获取这些信息数据的表达式, 我们可以称呼其为 XPath, 最后, 点击保存
Step3. 保存后, 点击 Data Preview 预览数据
Step4. 点击 Data Preview 预览的数据如下
Step5. 点击 Scrape, 立马开始抓取数据
当出现 Scraping Finished 的字样的时候, 说明已经抓取成功
Step6. 点击 Export Data as CSV, 导出为 CVS 的数据格式, 这样 Excel 就能打开
写在最后的话
本文简单介绍总结了 Web Scraper 的插件的功能, 安装以及一个简单的单页面例子其实 Web Scraper 的功能远远不止于此, 其实还能抓取分页, 还能多页多元素的抓取, 还能抓取二级页面, 比如, 所有 iphone 或者华为手机的价格, 配置等信息
来源: http://www.bubuko.com/infodetail-2500569.html