一, 安装配置 jdk
1, 上传 jdk
2, 建 App 文件夹 mkdir App , 将 jdk 解压到 App 中
将 java 添加到环境变量中
- VIM /etc/profile
- # 在文件最后添加
- export JAVA_HOME=/home/hadoop/App/jdk-7u_65-i585
- export PATH=$PATH:$JAVA_HOME/bin
刷新权限: source /etc/profile
二, 安装配置 hadoop
1, 上传 hadoop
2, 将 hadoop 解压到 App 中
目录:
3, 修改配置文件
hadoop-env.sh
- core-site.xml
- <!-- 指定 HADOOP 所使用的文件系统 schema(URI),HDFS 的老大 (NameNode) 的地址 -->
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://centos01:9000</value>
- </property>
- <!-- 指定 hadoop 运行时产生文件的存储目录 -->
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/home/hadoop/hadoop-2.4.1/data/</value>
- </property>
- hdfs-site.xml
- <!-- 指定 HDFS 副本的数量 -->
- <property>
- <name>dfs.replication</name>
- <value>3</value>
- </property>
- mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
- <!-- 指定 mr 运行在 yarn 上 -->
- <property>
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
- </property>
- yarn-site.xml
- <!-- 指定 YARN 的老大 (ResourceManager) 的地址 -->
- <property>
- <name>yarn.resourcemanager.hostname</name>
- <value>weekend-1206-01</value>
- </property>
- <!-- reducer 获取数据的方式 -->
- <property>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce_shuffle</value>
- </property>
4, 将 hadoop 添加到环境变量
- sudo VIM /etc/proflie
- export JAVA_HOME=/usr/java/jdk1.7.0_65
- export HADOOP_HOME=/home/hadoop/App/hadoop-2.4.1
- export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
5, 关闭防火墙
查看 status:sudo service iptables status
停止: sudo service iptables stop
将自动启动关闭: 看状态 sudo chkconfig iptables --list
全部设为 off
sudo chkconfig iptables off
6, 格式化 namenode(是对 namenode 进行初始化)
hdfs namenode -format (hadoop namenode -format)
成功
启动 hadoop
先启动 HDFS
sbin/start-dfs.sh
再启动 YARN
sbin/start-yarn.sh
到此启动成功可以在页面访问
- http://192.168.134.101:50070 (HDFS 管理界面)
- http://192.168.1.101:8088 (MR 管理界面)
以下是访问到的页面
来源: http://www.bubuko.com/infodetail-2986097.html