> 文章列表 > sqoop的介绍与安装

sqoop的介绍与安装

sqoop的介绍与安装

简介 

        Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive)与传统的数据库(mysqlpostgresql...)
间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres 等)中的
数据导进到 Hadoop HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中。
        Sqoop 项目开始于 2009 年,最早是作为 Hadoop 的一个第三方模块存在,后来为了让使
用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop 独立成为一个 Apache
项目。

安装 

        解压 

         重命名

        修改sqoop/conf/sqoop-env-template.sh配置文件名称 

         修改sqoop-env.sh文件

 添加如下(按自己安装软件的环境目录添加):

export HADOOP_COMMON_HOME=/opt/hadoop-3.3.4
export HADOOP_MAPRED_HOME=/opt/hadoop-3.3.4
export HIVE_HOME=/opt/hive-3.1.3

        拷贝JDBC驱动包

 拷贝JDBC驱动到sqoop的lib目录下

         验证sqoop

bin/sqoop help

 弹出警告说什么什么没配是正常的,我们需要什么功能就配什么组件

        测试连接MySQL 

bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password p@ssw0rd

没有报错并显示当前mysql中的全部数据库说明连接成功

精明眼电影影评