环境说明
- 准备三台服务器,分别为:bigdata141(hadoop 主节点)、bigdata142、bigdata143
- 确保 hadoop 集群先启动好,hadoop 版本为 3.2.0
- 如果只安装不使用的话,以上可以暂时不用管
- 另准备一台服务器,bigdata144,作为 hadoop、hive 客户端节点,hive版本为 3.1.2
下载安装包
下载连接:Apache Archive Distribution Directory
这边选择 1.4.7 版本
下载完后上传到 bigdata144 的 /data/soft/ 目录下
解压并配置
解压
解压,然后进入 conf/ 目录,复制一份配置文件,暂不用修改
[root@bigdata144 soft]# tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
[root@bigdata144 soft]# cd sqoop-1.4.7.bin__hadoop-2.6.0/conf
[root@bigdata144 conf]# cp sqoop-env-template.sh sqoop-env.sh
配置
1、编辑系统环境变量,加上 SQOOP_HOME
...
export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_HOME=/data/soft/hadoop-3.2.0
export HIVE_HOME=/data/soft/apache-hive-3.1.2-bin
export SQOOP_HOME=/data/soft/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin:$PATH
2、如果要跟 MySQL 交互,那么就需要将 MySQL 的驱动包上传到 SQOOP_HOME 的 lib 目录下。我使用的驱动包对应的maven依赖如下,自行下载:
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.16</version>
</dependency>
3、后续在和 hadoop 交互之前,需在 SQOOP_HOME 的 lib 目录下引入 commons-lang-2.6.jar,该 jar 包同样可以在 maven 仓库找到
启动Sqoop
到这里就好了,不用启动什么,到时候直接执行配置好的导入导出等命令就可以了。