配置环境总是令人头大!
苦苦挣扎数日后, 博主总算活过来了!
特分享成功配置 HIVE 的过程!
类似 Hadoop,Hive 也有三种也不同的部署模式(本文采用第二种):
内嵌模式: 将元数据保存在 Hive 内嵌的 Derby 数据库中, 只允许一个会话连接
本地模式:(以 MySQL 为例)在本地安装 MySQL, 将元数据保存在 MySQL 中, 支持多个会话, 多用户连接
远程模式: 将元数据保存在远端数据库中
基本环境:
- Ubuntu 18.04 (Ubuntu 16.04 同样适用噢)
- Hadoop 2.9.1
注: 本文在已配置 Hadoop 的用户 (用户名为 hadoop) 下执行操作.
1. 下载安装 hive
下载 hive
可以从 Apache 官方镜像直接下载:
https://mirrors.tuna.tsinghua.edu.cn/apache/hive/
也可以通过命令行命令:
wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz
解压缩到路径 /usr/local
tar -zxvf ./apache-hive-2.3.4-bin.tar.gz -C /usr/local/
重命名
sudo mv apache-hive-2.3.4-bin hive
2. 配置 Hive
2.1 配置环境变量
VIM ~/.bashrc
也可用 gedit 等其他编辑器打开并编辑
在 bashrc 中添加
- # /usr/local/hadoop 为 Hadoop 安装目录
- export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/sbin:/usr/local/hive/bin
- export HIVE_HOME=/usr/local/hive
- export PATH=$PATH:$HIVE_HOME/bin
保存后, 执行
source ~/.bashrc
使文件生效
2.2 修改配置文件 hive-site.xml
进入 hive 配置目录:
cd /usr/local/hive/conf
将 hive-default.xml.template 重命名为 hive-default.xml
sudo mv hive-default.xml.template hive-default.xml
新建一个配置文件 hive-site.xml 并编辑
sudo VIM hive-site.xml
在 hive-site.xml 中写入 MySQL 配置信息(虽然我们还没有安装 MySQL):
注意, 第三部分 < value>hadoop</value > 处 hadoop 为 MySQL 用户名
同样, 第四部分 < value>123456</value > 处 123456 为 MySQL 密码
- <?xml version="1.0" encoding="UTF-8" standalone="no"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
- <configuration>
- <property>
- <name>javax.jdo.option.ConnectionURL</name>
- <value>jdbc:MySQL://localhost:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value>
- <description>JDBC connect string for a JDBC metastore</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionDriverName</name>
- <value>com.MySQL.jdbc.Driver</value>
- <description>Driver class name for a JDBC metastore</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionUserName</name>
- <value>hadoop</value>
- <description>username to use against metastore database</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionPassword</name>
- <value>123456</value>
- <description>password to use against metastore database</description>
- </property>
- </configuration>
2.3 修改配置文件 hive-env.xml
将 hive-env.xml.template 重命名为 hive-env.xml:
sudo mv hive-env.xml.template hive-env.xml
在 hive-env.xml 中增加:
- # Hadoop 的位置:
- export HADOOP_HOME=/usr/local/hadoop
- # hive 的 conf 目录位置:
- export HIVE_CONF_DIR=/usr/local/hive/conf
- # hive 的 lib 目录位置:
- export HIVE_AUX_JARS_PATH=/usr/local/hive/lib
3. 下载安装 MySQL
3.1 安装
更新软件源: sudo apt-get update
安装 MySQL:sudo apt-get install MySQL-server
安装过程会设置 root 用户密码, 设置完成后自动安装即可
3.2 启动 MySQL
service MySQL start
3.3 检查是否启动成功
sudo netstat -tap | grep MySQL
有 MySQL 信息即启动成功, 也说明安装成功
3.4 配置驱动(MySQL jdbc, 本文使用 5.1.46 版本)
命令行下载:
sudo wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
解压:
sudo tar -zxvf MySQL-connector-java-5.1.46.tar.gz
移动到 hive/lib 目录下
sudo cp MySQL-connector-java-5.1.46/MySQL-connector-java-5.1.46-bin.jar /usr/local/hive/lib
友情提醒, 这里有个坑... 如果使用其他版本 connector, 版本不宜过低
4. 配置权限
4.1 配置 MySQL 接入权限
- # root 登陆 MySQL:
- sudo MySQL -u root -p
- # 进入 MySQL shell, 注意 ";" 标识一条命令结束
- # 授予权限给用户 hadoop, 密码 123456:
- MySQL> GRANT ALL ON *.* TO 'hadoop'@'%' IDENTIFIED BY '123456';
- # 配置成功, 回显:
- Query OK, 0 rows affected, 1 warning (0.02 sec)
- # 退出:
- MySQL> exit;
- # 退出成功, 回显:
- Bye
之后可以以 hadoop 用户(非授权用户需要 sudo 指令)
MySQL -u hadoop -p
登陆 MySQL shell
4.2 创建仓库并配置权限
在 hdfs 上创建相关仓库, 并配置权限:
若未启动 hadoop, 请先启动 hadoop
- hadoop fs -mkdir -p /user/hive/warehouse
- hadoop fs -mkdir -p /user/hive/tmp
- hadoop fs -mkdir -p /user/hive/log
- hadoop fs -chmod -R 777 /user/hive/warehouse
- hadoop fs -chmod -R 777 /user/hive/tmp
- hadoop fs -chmod -R 777 /user/hive/log
注意, 直接调用 hadoop fs 命令需要已配置相关环境变量
4.3 初始化
- cd /usr/local/hive/bin
- schematool -initSchema -dbType MySQL
看到 schemaTool completed , 即初始化成功!
5. 启动 hive 及测试
请先确保 hadoop 已正常启动!
- # 启动 hive(由于已配置相关环境变量, 直接使用):
- hive
- # 启动成功, 启动过程提示信息结束后, 回显:
- hive>
- # 说明已成功启动. 同样, 注意 ";" 标识一条命令结束!
5.1 测试 hive
- # 显示数据库:
- hive> show databases;
- OK
- default
- Time taken: 14.107 seconds, Fetched: 1 row(s)
- # 创建一个表:
- hive> create table test1(tid int, tname string);
- OK
- Time taken: 5.021 seconds
- # 显示 tables:
- hive> show tables;
- OK
- test1
- Time taken: 5.077 seconds, Fetched: 1 row(s)
- # 删除刚刚创建的表 test1:
- hive> drop table test1;
- OK
- Time taken: 5.223 seconds
- # 重新创建表 test1(用于 MySQL 测试):
- hive> create table test1(tid int, tname string);
- OK
- Time taken: 1.322 seconds
- # 退出 hive shell
- hive> exit;
5.2 测试 MySQL
- # hadoop 用户进入 MySQL
- MySQL -u hadoop -p
- # 输入密码后, 进入 MySQL shell
- MySQL>
- # 显示数据库:
- MySQL> show databases;
- +--------------------+
- | Database |
- +--------------------+
- | information_schema |
- | hive |
- | MySQL |
- | performance_schema |
- | sys |
- +--------------------+
- 5 rows in set (0.11 sec)
- # 使用 hive 数据库
- MySQL> use hive;
- Reading table information for completion of table and column names
- You can turn off this feature to get a quicker startup with -A
- Database changed
- # 显示我们刚刚创建的表(记录在 table TBLS 中)
- MySQL> select * from TBLS;
- +--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+
- | TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER | RETENTION | SD_ID | TBL_NAME | TBL_TYPE | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT | IS_REWRITE_ENABLED |
- +--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+
- | 1 | 1543335170 | 1 | 0 | hadoop | 0 | 1 | test1 | MANAGED_TABLE | NULL | NULL | |
- +--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+
- 1 row in set (0.00 sec)
- # 在上面, 我们可以看到 OWNER:hadoop,TBL_NAME:test1, 即我们刚刚创建的表
- # 退出:
- MySQL> exit;
- Bye
到此, 我们的配置就大功告成了!
如果想使用远程连接 MySQL, 主要需要修改 hive-site.xml 文件中第一部分 ConnectionURL.
参考博客
感谢这些博主提供的基础步骤和问题解决方案!
- https://ywnz.com/linuxysjk/2480.html
- http://www.chenhongsong.top/index.php/2018/11/19/
- https://blog.csdn.net/SCGH_Fx/article/details/65947763
- https://blog.csdn.net/u012922838/article/details/73291524
- https://blog.csdn.net/u014695188/article/details/54646575
来源: https://www.cnblogs.com/standingby/p/10039974.html