这里有新鲜出炉的精品教程,程序狗速度看过来!
webmagic 的是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的 API,只需少量代码即可实现一个爬虫。
WebMagic 0.7.0 版本发布了,此次更新重写了 HttpClientDownloader,完善了 POST 等其他 Http Method 的支持,并重写了代理 API,更加简单和便于扩展。
- Request request = new Request("http://xxx/path");
- request.setMethod(HttpConstant.Method.POST);
- request.setRequestBody(HttpRequestBody.json("{'id':1}", "utf-8"));
- HttpClientDownloader httpClientDownloader = new HttpClientDownloader(); SimpleProxyProvider proxyProvider = SimpleProxyProvider.from(new Proxy("127.0.0.1", 1087), new Proxy("127.0.0.1", 1088));
- httpClientDownloader.setProxyProvider(proxyProvider);
- SimpleHttpClient simpleHttpClient = new SimpleHttpClient(); GithubRepo model = simpleHttpClient.get("github.com/code4craft/webmagic",GithubRepo.class);
WebMagic 0.5.3 版本发布,Java 爬虫框架
WebMagic 0.6.0 版本发布,Java 爬虫框架
WebMagic 0.6.1 版本发布,Java 爬虫框架
WebMagic 0.7.0 版本发布,Java 爬虫框架
历史版本 :
来源: http://www.phperz.com/article/17/0529/335790.html