铭文一级:
第五章:实战环境搭建
Spark 源码编译命令:
铭文二级:
./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz \
-Pyarn -Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Dhadoop.version=2.6.0-cdh5.7.0
第五章:实战环境搭建 (所有都配置到环境变量)
1,Scala 的安装:Download-> previous releases // 课程使用 2.11.8
2,Maven 的安装:Download->archives->binaries // 课程使用 3.3.9
修改 settings.xml 的默认仓库地址
3,下载 hadoop 的安装包(CDH5 的地址里有)
生成 ssh 公钥指令:ssh-keygen -t rsa
拷贝公钥:cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
解压 hadoop 安装包:
env/hadoop 目录下 6 个配置文件需要修改 (*#* // 对应 name 与 value 配对):
修改完这四个文件可以格式化 hadoop:
hadoop.env.sh // 修改 java_home 地址
core-site.xml /* fs.defaultFS#hdfs://hadoop000:8020 hadoop.tmp.dir#/home/hadoop/app/tmp */
hdfs-site.xml // 副本系数自行设置: dfs.replication#1
slaves // 修改主机 localhost 为 hadoop000
进入 hadoop 目录的 bin 目录,执行:./hadoop namenade -format
配置到环境变量
到 sbin 目录下:./start-dfs.sh //hadoop000:50070
到 sbin 目录下:./start-yarn.sh //hadoop000:8088
mapred-site.xml //cp 一份模板出来 运行在 yarn 上:mapreduce.framework.name#yarn
yarn-site.xml // 整合 mapreduce:yarn.nodemanager.aux-services#mapredue-shuffle
Spark 环境搭建,具体操作看笔记一的铭文二,铭文四或者: https://www.imooc.com/article/18419
hadoop fs -ls /
hadoop fs -mkdir /data
hadoop fs -put $FILE /data/
hadoop fs -test $FILE // 查看详细内容
来源: http://www.bubuko.com/infodetail-2477196.html