sqoop数据导出、脚本使用

目录

准备表与数据 

数据导出

脚本调用

准备表与数据 

        mysql表

CREATE TABLE `user`  (`id` int(20),`name` varchar(20)
)ENGINE=INNODB DEFAULT CHARSET=utf8;

        hive表

create table users(
id bigint,
name string
)
row format delimited fields terminated by "\\t";

 数据导出

         在 Sqoop 中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群 （RDBMS）中传输数据，叫做：导出，即使用 export 关键字。

bin/sqoop export \\
--connect jdbc:mysql://master:3306/spark-sql \\
--username root \\
--password p@ssw0rd \\
--table user \\
--num-mappers 1 \\
--export-dir /user/hive/warehouse/users \\
--input-fields-terminated-by "\\t"

        参数解读：

bin/sqoop export \\ 导出命令
--connect jdbc:mysql://master:3306/spark-sql \\ mysql数据库路径
--username root \\ 用户名
--password p@ssw0rd \\ 用户密码
--table user \\ mysql表名
--num-mappers 1 \\ mr资源
--export-dir /user/hive/warehouse/users \\ hive表在hdfs上的存储路径
--input-fields-terminated-by "\\t"  分割列

        mysql中查看导入结果 

脚本调用

        创建脚本文件

在sqoop目录中创建一个job目录用于存放脚本

创建脚本文件 

编写命令（以刚才导出数据为例） 

        执行脚本文件

[root@master sqoop]# bin/sqoop -options-file 目录名/脚本文件名

         mysql中查看导入结果