这里有新鲜出炉的 Java 并发编程示例,程序狗速度看过来!
Java 程序设计语言
java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的 Java 程序设计语言和 Java 平台(即 JavaEE(j2ee), JavaME(j2me), JavaSE(j2se))的总称.
下面小编就为大家带来一篇 hadoop 中实现 java 网络爬虫 (示例讲解).小编觉得挺不错的,现在就分享给大家,也给大家做个参考.一起跟随小编过来看看吧
这一篇网络爬虫的实现就要联系上大数据了.在前两篇 java 实现网络爬虫和 heritrix 实现网络爬虫的基础上,这一次是要完整的做一次数据的收集,数据上传,数据分析,数据结果读取,数据可视化.
需要用到
Cygwin:一个在 windows 平台上运行的类 UNIX 模拟环境,直接网上搜索下载,并且安装;
Hadoop:配置 Hadoop 环境,实现了一个分布式文件系统(Hadoop Distributed File System),简称 HDFS,用来将收集的数据直接上传保存到 HDFS,然后用 MapReduce 分析;
Eclipse:编写代码,需要导入 hadoop 的 jar 包,以可以创建 MapReduce 项目;
Jsoup:html 的解析 jar 包,结合正则表达式能更好的解析网页源码;
----->
目录:1,配置 Cygwin2,配置 Hadoop 黄静 3,Eclipse 开发环境搭建 4,网络数据爬取(jsoup)
-------->
1,安装配置 Cygwin
从官方网站下载 Cygwin 安装文件,地址:https://cygwin.com/install.html
下载运行后进入安装界面.
安装时直接从网络镜像中下载扩展包,至少需要选择 ssh 和 ssl 支持包
安装后进入 cygwin 控制台界面,
运行 ssh-host-config 命令,安装 SSH
输入:no,yes,ntsec,no,no
注意:win7 下需要改为 yes,yes,ntsec,no,yes,输入密码并确认这个步骤
完成后会在 windows 操作系统中配置好一个 Cygwin sshd 服务,启动该服务即可.
然后要配置 ssh 免密码登陆
重新运行 cygwin.
执行 ssh localhost,会要求使用密码进行登陆.
使用 ssh-keygen 命令来生成一个 ssh 密钥,一直回车结束即可.
生成后进入. ssh 目录,使用命令:cp id_rsa.pub authorized_keys 命令来配置密钥.
之后使用 exit 退出即可.
重新进入系统后,通过 ssh localhost 就可以直接进入系统,不需要再输入密码了.
2,配置 Hadoop 环境
修改 hadoop-env.sh 文件,加入 JDK 安装目录的 JAVA_HOME 位置设置.
如图注意:Program Files 缩写为 PROGRA~1
# The java implementation to use. Required.
export JAVA_HOME=/cygdrive/c/Java/jdk1.7.0_67
修改 hdfs-site.xml,设置存放副本为 1(因为配置的是伪分布式方式)
注意:此图片多加了一个 property,内容就是解决可能出现的权限问题!!!
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
HDFS:Hadoop 分布式文件系统
可以在 HDFS 中通过命令动态对文件或文件夹进行 CRUD
注意有可能出现权限的问题,需要通过在 hdfs-site.xml 中配置以下内容来避免:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
修改 mapred-site.xml,设置 JobTracker 运行的服务器与端口号(由于当前就是运行在本机上,直接写 localhost 即可,端口可以绑定任意空闲端口)
配置 core-site.xml,配置 HDFS 文件系统所对应的服务器与端口号(同样就在当前主机)
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
配置好以上内容后,在 Cygwin 中进入 hadoop 目录
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
在 bin 目录下,对 HDFS 文件系统进行格式化(第一次使用前必须格式化),然后输入启动命令:
3,Eclipse 开发环境搭建这个在我写的博客 大数据【二】HDFS 部署及文件读写(包含 eclipse hadoop 配置)中给出大致配置方法.不过此时需要完善一下.
将 hadoop 中的 hadoop-eclipse-plugin.jar 支持包拷贝到 eclipse 的 plugin 目录下,为 eclipse 添加 Hadoop 支持.
启动 Eclipse 后,切换到 MapReduce 界面.
在 windows 工具选项选择 showviews 的 others 里面查找 map/reduce locations.
在 Map/Reduce Locations 窗口中建立一个 Hadoop Location,以便与 Hadoop 进行关联.
注意:此处的两个端口应为你配置 hadoop 的时候设置的端口!!!
完成后会建立好一个 Hadoop Location
在左侧的 DFS Location 中,还可以看到 HDFS 中的各个目录
并且你可以在其目录下自由创建文件夹来存取数据.
下面你就可以创建 mapreduce 项目了,方法同正常创建一样.
4,网络数据爬取现在我们通过编写一段程序,来将爬取的新闻内容的有效信息保存到 HDFS 中.此时就有了两种网络爬虫的方法:其一就是利用 heritrix 工具获取的数据;其一就是 java 代码结合 jsoup 编写的网络爬虫.
方法一的信息保存到 HDFS:
直接读取生成的本地文件,用 jsoup 解析 html,此时需要将 jsoup 的 jar 包导入到项目中.
以上这篇 hadoop 中实现 java 网络爬虫 (示例讲解) 就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持 PHPERZ.
package org.liky.sina.save;
//这里用到了JSoup开发包,该包可以很简单的提取到HTML中的有效信息
import java.io.File;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class SinaNewsData {
private static Configuration conf = new Configuration();
private static FileSystem fs;
private static Path path;
private static int count = 0;
public static void main(String[] args) {
parseAllFile(new File("E:/heritrix-1.12.1/jobs/sina_news_job_02-20170814013255352/mirror/"));
}
public static void parseAllFile(File file) {
// 判断类型
if (file.isDirectory()) {
// 文件夹
File[] allFile = file.listFiles();
if (allFile != null) {
for (File f: allFile) {
parseAllFile(f);
}
}
} else {
// 文件
if (file.getName().endsWith(".html") || file.getName().endsWith(".shtml")) {
parseContent(file.getAbsolutePath());
}
}
}
public static void parseContent(String filePath) {
try {
//用jsoup的方法读取文件路径
Document doc = Jsoup.parse(new File(filePath), "utf-8");
//读取标题
String title = doc.title();
Elements descElem = doc.getElementsByAttributeValue("name", "description");
Element descE = descElem.first();
// 读取内容
String content = descE.attr("content");
if (title != null && content != null) {
//通过Path来保存数据到HDFS中
path = new Path("hdfs://localhost:9000/input/" + System.currentTimeMillis() + ".txt");
fs = path.getFileSystem(conf);
// 建立输出流对象
FSDataOutputStream os = fs.create(path);
// 使用os完成输出
os.writeChars(title + "\r\n" + content);
os.close();
count++;
System.out.println("已经完成" + count + " 个!");
}
} catch(Exception e) {
e.printStackTrace();
}
}
}
来源: http://www.phperz.com/article/18/0114/353288.html