在安装 Spark 之前,我们需要在自己的系统当中先安装上 jdk 和 scala ,以及 spark 的下载链接,
JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
scala:http://www.scala-lang.org/download/
安装 JDK首先我们先来安装 jdk, 在如下的目录创建一个 jdk 文件夹:
sudo mkdir /usr/lib/jdk
用这条语句来创建 jdk 的安装目录,这里我们计划装到 / usr/lib/jdk 目录下.
然后切换到 jdk 压缩包所在的目录,比如这里我们把包放在了~/Desktop 目录,
cd ~/Desktop
执行解压缩命令,把压缩包解压缩到 / usr/lib/jdk 目录下:
sudo tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/lib/jdk
注意这里需要 root 权限。不然没有办法往 / usr/lib/jdk 目录中写数据 。
然后我们需要配置 PATH 路径,让 jdk 命令在任何路径下都能够直接执行
sudo vim /etc/profile
/etc/profile 的改动在重启之后会对所有用户都起作用 ,在配置文件的最后加上:
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_151
export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
JAVA_HOME 的路径根据自己解压缩的目录来配置。
然后按 esc 退出编辑模式,进入命令模式,输入: w 保存,然后 :q 退出 vim 编辑器,
source /etc/profile
如果出现一大串东西,那么恭喜你你的 jdk 安装成功了,否则很有可能你的环境配置出了问题,请仔细检查。
安装 Scala同样的方法安装 scala
同样的方法安装 spark
出现上图,说明 spark 安装成功。
来源: https://mp.weixin.qq.com/s?__biz=MzI3NTkyMjA4NA==&mid=2247484902&idx=1&sn=0ca262775762445075d43f6011a8bf1b&chksm=eb7c282ddc0ba13be1161dec78665dddb3bfe2ab7334bc8c0a3ba6873250436e166ce8fdcf73#rd