Windows下安装Sqoop

Windows下安装Sqoop

  • 一、Sqoop简介
  • 二、Sqoop安装
    • 2.1、Sqoop官网下载
    • 2.2、Sqoop网盘下载
    • 2.3、Sqoop安装(以version:1.4.7为例)
      • 2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录
      • 2.3.2、新增环境变量 SQOOP_HOME
      • 2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin
      • 2.3.4、验证 Sqoop 是否安装成功:sqoop version
      • 2.3.5、问题处理(找不到或无法加载主类 org.apache.sqoop.Sqoop)
        • 2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理
          • 2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
            • 2.3.5.1.1.1、官网下载
            • 2.3.5.1.1.2、网盘下载
          • 2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
          • 2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中
      • 2.3.6、重新验证 Sqoop 是否安装成功:sqoop version

一、Sqoop简介

1.1、Sqoop是什么
Sqoop是一个用于Hadoop和结构化数据存储(如关系型数据库)之间进行高效传输大批量数据的工具。
它包括以下两个方面:
1.1.1、​可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中。
1.1.2、将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)。
1.2、底层实现原理
​ Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通过基于Map Task(只有map)的MapReduce作业实现的。所以它是一种批处理方式进行数据传输,难以实现实时的数据进行导入和导出。
1.3、特点
优点:它可以将跨平台的数据进行整合。
缺点:它不是很灵活。
1.4、Sqoop的重要的几个关键词
import :从关系型数据库到Hadoop
export :从Hadoop到关系型数据库。
1.5、主要执行操作

Mysql-->HDFS:import
Mysql-->Hive:import
Mysql-->HBase:import
HDFS-->Mysql:export
Hive-->Mysql:export

二、Sqoop安装

本篇以 version:1.4.7 为例来演示Sqoop的安装步骤。

2.1、Sqoop官网下载

官网下载地址:http://archive.apache.org/dist/sqoop/
下载:sqoop-1.4.7.tar.gz 这个文件
在这里插入图片描述

2.2、Sqoop网盘下载

或者网盘下载:https://pan.baidu.com/s/1hL9ZuBxCxynRt-WCs6m6lQ?pwd=yyds
下载:sqoop-1.4.7.tar.gz 这个文件

2.3、Sqoop安装(以version:1.4.7为例)

2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录

解压 sqoop-1.4.7.tar.gzD:\bigdata\sqoop\1.4.7
在这里插入图片描述

2.3.2、新增环境变量 SQOOP_HOME

在这里插入图片描述

2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin

在这里插入图片描述

2.3.4、验证 Sqoop 是否安装成功:sqoop version

管理员权限打开cmd命令窗口。输入:

sqoop version

在这里插入图片描述
发现报错:找不到或无法加载主类 org.apache.sqoop.Sqoop

2.3.5、问题处理(找不到或无法加载主类 org.apache.sqoop.Sqoop)

2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理

解决办法:下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.3.5.1.1.1、官网下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 下载地址:http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
在这里插入图片描述

2.3.5.1.1.2、网盘下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 网盘下载:https://pan.baidu.com/s/1Pb-esaxv2Rj9CwfqOwm9tA?pwd=yyds

2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz:
在这里插入图片描述
可以看到解压目录中有:sqoop-1.4.6.jar , 这个文件

2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中

将解压后的 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib
在这里插入图片描述

2.3.6、重新验证 Sqoop 是否安装成功:sqoop version

在这里插入图片描述
至此,Windows下安装Sqoop,安装成功!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/68751.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

07-3_Qt 5.9 C++开发指南_文件目录操作

文章目录 1. 文件目录操作相关的类2. 实例概述2.1 实例功能2.2 信号发射信息的获取 3. QCoreApplication 类4. QFile类5. QFileInfo类6. QDir类7. QTemporaryDir 和QTemporaryFile8. QFileSystemWatcher 类9. 框架和源码9.1 可视化UI设计9.2 dialog.cpp 1. 文件目录操作相关的类…

【网络基础实战之路】基于三个分公司的内网搭建并连接运营商的实战详解

系列文章传送门: 【网络基础实战之路】设计网络划分的实战详解 【网络基础实战之路】一文弄懂TCP的三次握手与四次断开 【网络基础实战之路】基于MGRE多点协议的实战详解 【网络基础实战之路】基于OSPF协议建立两个MGRE网络的实验详解 PS:本要求基于…

Qt应用开发(基础篇)——拆分器窗口 QSplitter

一、前言 QSplitter继承于QFrame,QFrame继承于QWidget,是Qt的一个基础工具类。 框架类QFrame介绍 QSplitter拆分器,用户通过拖动子部件之间的边界来控制子部件的大小,在应用开发中数据分模块展示、图片展示等场景下使用。 二、QSp…

适合大学生的兼职有什么?推荐四个靠谱的副业!

不知不觉新学期也要开始了,大学生们会不会因为苦恼的钱不够花而不够尽兴,很多大学生都想利用下课的时间来做一份兼职,但是有很多鉴于学校封校不知道自己可以做什么,我来为大家整理了以下几个大学生在学校内相对可靠的兼职。 第一个…

webpack复习

webpack webpack复习 webpack基本配置 拆分配置 - 公共配置 生产环境配置 开发环境配置 使用merge webpack-dev-server 启动本地服务 在公共中引入babel-loader处理es6 webpack高级配置 多入口文件 enty 入口为一个对象 里面的key为入口名 value为入口文件路径 例如 pa…

mac安装nvm管理工具遇到的问题和解决方法

nvm 是一款可以管理多版本node的工具,因为是刚买没多久的电脑之前用的都是windows,昨天折腾了一下午终于倒腾好了 第一步: 卸载电脑已有的node;访问nvm脚本网址,另存为到电脑上任何目录,我是放在桌面上的…

【音视频、chatGpt】h5页面最小化后,再激活后视频停住问题的解决

目录 现象 观察 解决 现象 页面有时候要切换,要最小化;短时间或者几个小时内切换回来,视频可以正常续上;而放置较长时间,几个小时或者一晚上,切换回来后,视频可能卡死 观察 切换页面&#x…

leetcode118. 119.杨辉三角

118 题目: 给定一个非负整数 numRows,生成「杨辉三角」的前 numRows 行。 在「杨辉三角」中,每个数是它左上方和右上方的数的和。 思路: 可以发现从第三行开始,从第二个元素到倒数第二个元素,每个元素都…

TypeScript 关于对【泛型】的定义使用解读

目录 概念导读泛型函数多个泛型参数泛型约束泛型别名泛型接口泛型类总结: 概念导读 泛型(Generics)是指在定义函数、接口或类的时候,不预先指定具体的类型,而在使用的时候再指定类型的一种特性。使用泛型 可以复用类型…

C#小轮子:Visual Studio自动编译Sass文件

文章目录 前言插件安装插件使用compilerconfig.jsonsass输入和css输出(自动生成)默认配置(我不懂就不去动他了) 前言 我们知道css文件用起来太麻烦,如果样式一多,嵌套起来用css样式就眼花缭乱。Sass使用层…

ElasticSearch:项目实战(1)

es环境搭建参考:ElasticSearch:环境搭建步骤_Success___的博客-CSDN博客 需求: 用户输入关键可搜索文章列表 关键词高亮显示 文章列表展示与home展示一样,当用户点击某一篇文章,可查看文章详情 思路: …

CSS-grid布局

网格布局也叫grid布局,平常写样式的时候基本上都是用的flex布局。 像以下布局,用flex布局就可能会有有点麻烦,这时候用grid布局就方便的多了。 或者是照片墙 grid布局就是将容器划分为行和列,产生单元格,然后在指定的…

ArcGIS Pro技术应用(暨基础入门、制图、空间分析、影像分析、三维建模、空间统计分析与建模、python融合)

GIS是利用电子计算机及其外部设备,采集、存储、分析和描述整个或部分地球表面与空间信息系统。简单地讲,它是在一定的地域内,将地理空间信息和 一些与该地域地理信息相关的属性信息结合起来,达到对地理和属性信息的综合管理。GIS的…

机器学习笔记之优化算法(十一)凸函数铺垫:梯度与方向导数

机器学习笔记之优化算法——凸函数铺垫:梯度与方向导数 引言回顾:偏导数方向余弦方向导数方向导数的几何意义方向导数的定义 方向导数与偏导数之间的关联关系证明过程 梯度 ( Gradient ) (\text{Gradient}) (Gradient) 引言 本节作为介绍凸函数的铺垫&a…

【华秋推荐】新能源汽车中的T-BOX系统,你了解多少?

近几年,新能源汽车产业进入了加速发展的阶段。我国的新能源汽车产业,经过多年的持续努力,技术水平显著提升、产业体系日趋完善、企业竞争力大幅增强,呈现市场规模、发展质量“双提升”的良好局面。同时,通过国家多年来…

IDEA每次启动indexing解决办法

每次启动indexing很浪费时间。 解决办法 setting中搜索index 设置如下: 这样设置以后,启动速度明显快多了。 参考 https://blog.csdn.net/qq_45162113/article/details/121128721

Leetcode24 两两交换链表相邻的节点

迭代解法: class Solution {public ListNode swapPairs(ListNode head) {ListNode dummyHead new ListNode(0);dummyHead.next head;ListNode temp dummyHead;while (temp.next ! null && temp.next.next ! null) {ListNode node1 temp.next;ListNode n…

【单片机】51单片机,晨启科技,板子引脚对应关系

一般引脚: sbit beepP2^4; //将单片机的P2.4端口定义为beep.本口用于屏蔽上电后蜂鸣器响 sbit ledP1^0; //将单片机的P1.0端口定义为led,用于点亮LED-D1 sbit DIG1P0^0; //数码管位选1 sbit DIG2P0^1; //数码管位选2P10xFF;//初始化P1引脚全部置高&a…

树莓派安装Ubuntu系统(无屏幕)

树莓派安装ubuntu系统 前言 软件需要: 1.方案一 win32diskimager-1.0.0-install.exe SDFormatterha Ubuntu镜像(可以官网下载也可以清华源) 方案二: 树莓派镜像烧录器 树莓派镜像烧录器直达下载 硬件需要: 64GB内存卡(推荐Sanddisk Ultra&am…

Java并发编程第4讲——Java中的锁(知识扫盲)

目录 一、锁的相关概念 1.1 什么是锁 1.2 为什么需要锁 1.3 Java中锁的分类 二、synchronized关键字 2.1 三个特点 2.2 三种表现形式(🙋‍♂️) 2.3 sychronized是怎么实现的(🙋‍♂️) 2.4 JDK1.…