大家好, 说起爬虫相信很多程序员都听到过, 简单来讲就是自动批量抓网络上信息的程序接下来我结合 github 上一个爬虫框架 NetDiscovery 进行演示
1) 为什么要用框架?
框架能够帮助我们处理一些基础的与目标任务没直接联系的工作, 让我们专注在目标任务上尤其对于爬虫初学者来说, 很快就能体会到操作爬虫带来的效果与成就感, 而不必去操心额外的事情等入了门, 再尝试不依赖框架独立从零写一个爬虫程序, 然后再去研究别人已经搭建好的爬虫框架, 等到能阅读爬虫框架源代码以后, 相信您已经对网络爬虫有一定的研究了
2) 演示环境
Java JDK8IntelliJ IDEAGoogle Chrome
爬虫框架 NetDiscovery: github.com/fengzhizi71
3) 确定爬虫任务
从某人才招聘网上获取指定的岗位信息: 公司名称岗位名称
4) 人肉分析网页
用 chrome 浏览器打开目标网页, 输入查询条件, 找到展示岗位信息的网页:
红框位置里的文字是我们计划要写程序去自动获取的信息
这个环节的分析工作很重要, 我们要对抓取的目标网页目标数据有明确的了解人眼已经能看到这些信息了, 接下来就是写程序教电脑去帮我们抓取
5) 创建 Java 工程
创建一个 gradle 的 java 工程:
在项目中添加爬虫框架 NetDiscovery 的两个 jar 包, 目前版本是 0.0.9.3, 版本不高, 但版本的更新迭代很快, 相信是一个有成长力的框架
- group 'com.sinkinka'
- version '1.0-SNAPSHOT'
- apply plugin: 'java'
- sourceCompatibility = 1.8
- repositories {
- maven{url 'http://maven.aliyun.com/nexus/content/groups/public/'}
- mavenCentral()
- jcenter();
- }
- dependencies {
- testCompile group: 'junit', name: 'junit', version: '4.12'
- implementation 'com.cv4j.netdiscovery:netdiscovery-core:0.0.9.3'
- implementation 'com.cv4j.netdiscovery:netdiscovery-extra:0.0.9.3'
- }
如果下载不了, 请配上阿里云镜像地址:
maven.aliyun.com/nexus/conte
6) 代码实现
参考框架中 example 模块下的示例代码, 以及另一个实例项目: github.com/fengzhizi71
创建 main 方法的入口类, 在 main 里启动爬虫
针对目标网页的解析, 需要创建实现 parser 接口的类
从 html 字符串中抓取目标内容有多种方法, 比如 xpathjsoup 正则表达式等
在 java 的 main 方法里编写如下代码:
- package com.sinkinka;
- import com.cv4j.netdiscovery.core.Spider;
- import com.sinkinka.parser.TestParser;
- public class TestSpider {
- public static void main(String[] args) {
- // 目标任务的网页地址, 可以拷贝到浏览器去查看
- String url = "http://www.szrc.cn/HrMarket/WLZP/ZP/0/数据";
- // 依靠 NetDiscovery, 我们只需要写一个 parser 类就可以实现基本的爬虫功能了
- Spider.create()
- .name("spider-1") // 名字随便起
- .url(url)
- .parser(new TestParser()) //parser 类
- .run();
- }
- }
TestParser 类的代码:
- package com.sinkinka.parser;
- import com.cv4j.netdiscovery.core.domain.Page;
- import com.cv4j.netdiscovery.core.parser.Parser;
- import com.cv4j.netdiscovery.core.parser.selector.Selectable;
- import java.util.List;
- /**
- * 针对目标网页的解析类
- */
- public class TestParser implements Parser {
- @Override
- public void process(Page page) {
- String xpathStr = "//*[@id=\"grid\"]/div/div[1]/table/tbody/tr";
- List<Selectable> trList = page.getHtml().xpath(xpathStr).nodes();
- for(Selectable tr : trList) {
- String companyName = tr.xpath("//td[@class='td_companyName']/text()").get();
- String positionName = tr.xpath("//td[@class='td_positionName']/a/text()").get();
- if(null != companyName && null != positionName) {
- System.out.println(companyName+"------"+positionName);
- }
- }
- }
- }
运行结果:
7) 总结
本文依赖爬虫框架, 用尽量简单的代码演示了抓取网页信息的一种方法后续会发布更多实操性的内容供大家参考
NetDiscovery 爬虫框架的基本原理图
来源: https://juejin.im/post/5a804b2cf265da4e9c63265b