测试 Sqoop 是否能够成功连接数据库
- sqoop list-databases --connect jdbc:MySQL//k200:3306/ --username root --password root
- create database jinghang;
- create table student(
- id int(4) primary key not null auto_increment,
- name varchar(255),
- gender varchar(255));
- insert into student(name, gender) values('banzhang', 'Male');
- insert into student(name, gender) values('banzhangxifu', 'FeMale');
- ---------------------------------------------------------------------------------
导入数据:
1 - 全部导入
- sqoop import \
- --connect jdbc:MySQL://k200:3306/test \
- --username root \
- --password root \
- --target-dir /user/xuetong/student \
- --delete-target-dir \
- --num-mappers 1 \
- --fields-terminated-by "\t" \
- --table student
2: 查询导入
- ###
- --query 'select name,gender from student where id <=1 and $CONDITIONS;'
注意: must contain '$CONDITIONS' in WHERE clause.
注意: 如果 query 后使用的是双引号, 则 $CONDITIONS 前必须加转移符, 防止 shell
识别为自己的变量.
注意:--query 选项, 不能同时与 --table 选项使用
3: 导入指定列
- ***
- --columns id,gender \
- --table student
- ***
- --table student \
- --where "id=1"
- -------------------------------------------------------------------------------------
MySQL--- 导入到 Hive
- sqoop import \
- --connect jdbc:MySQL://k200:3306/test \
- --username root \
- --password root \
- --table student \
- --delete-target-dir \
- --num-mappers 1 \
- --hive-import \
- --fields-terminated-by "\t" \
- --hive-overwrite \
- --hive-table student_hive
注意: 该过程分为两步, 第一步将数据导入到 HDFS, 第二步将导入到 HDFS 的数据迁移到 Hive 仓库
注意: 第一步默认的临时目录是 / user/root / 表名
--------------------------------------------------------------------------------------
Hive--- 导入到 MySQL
- sqoop export \
- --connect jdbc:MySQL://k200:3306/test \
- --username root \
- --password root \
- --table emp \
- --num-mappers 1 \
- --export-dir /user/hive/warehouse/hi_1.db/emp \
- --input-fields-terminated-by "\t"
注意: MySQL 中如果表不存在, 不会自动创建
- create table emp (
- empno int(23),
- ename varchar(233),
- job varchar(233),
- mgr int(23),
- hiredate varchar(233),
- sal double,
- comm double,
- deptno int(23));
- sqoop
来源: http://www.bubuko.com/infodetail-2995948.html