一直自以为自己 vue 还可以, 一直自以为 webpack 还可以, 今天在慕课逛 node 的时候, 才发现, 自己还差的很远众所周知, vue-cli 基于 webpack, 而 webpack 基于 node, 对 node 不了解, 谈什么了解 webpack 所以就自己给自己出了一道题, 爬取豆瓣数据, 目前还处于初级阶段今天就浅谈爬取到豆瓣的数据, 再另一个页面用自己的方式展现, 后续会跟进
1 需要解决的问题
搭建服务
怎么处理爬到的数据
怎么自动打开默认浏览器
2 搭建服务
搭建服务有好几种方式, 一开始我用的 http, 但是 http 有个弊端就是不能解析 https 协议的 url, 所以就用了 express, 解析 https 协议的网址我用了 request 包, 豆瓣的网址是 https 的,
今天爬取的是 https://movie.douban.com/chart 这个网址; 如下图, 我要获取的有三个部分, 图片电影名字电影链接.
3 怎么处理爬到的数据
我们用 request 爬到的数据, 怎么处理呢? cheerio 包可以让我们像 Jq 那样处理爬到的 html 数据
首先解析数据, 取到爬取网页的 html 数据;
然后利用 cheerio 包操作爬到的数据, 取到你想要的数据
取到数据, 创建 html, 输出到页面如下图, 我用的字符串拼接, 办法有点笨, 还没有找到更好的办法
4 怎么自动打开默认浏览器
不知道你有没有看 vue-cli 中 webpack 的配置, 自动打开浏览器, vue-cli 用的 opn 包.
这个包用起来很方便, 引入包, 直接调用 opn(url) 即可;
5 展示
来源: http://www.jb51.net/article/135874.htm