hadoop搭建本地hive库保姆级教程

安装本地hive

安装的前提是hadoop完全分布式可以正常的跑起来

第一部分:安装mysql8.0

1.安装wget工具

yum  -y  install wget

2.通过wget工具下载mysql源文件

注意:以下版本过高,后面安装MySQL源会失败,所以建议刚开始尝试换成低版本的

wget http://dev.mysql.com/get/mysql80-community-release-el9-1.noarch.rpm #高版本
wget http://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm #低版本

3.安装Mysql源

yum install -y mysql80-community-release-el7-7.noarch.rpm 

4. 安装MySQL

yum install  mysql-community-server  -y  --nogpgcheck

注意1:–nogpgcheck表示不检查gpg密钥

注意2:如果总是报密钥gpg错误,则删除之前旧的gpg密钥

在这里插入图片描述

5. 启动MYSQL服务

systemctl  start mysqld

6. 查看MYSQL初始密码

cat /var/log/mysqld.log | grep password 

7. 登录MYSQL并修改root账号的密码为LaoCai@2024

# 先登录
mysql -uroot -p # 回车后输入初始密码,后登录

在这里插入图片描述

# 修改密码,注意修改的密码要和后面配置 hive-site.xml文件时内容保持一致
alter  user  'root'@'localhost'  identified by 'LaoCai@2024';

8. 设置为允许远程登录

use mysql;

select user,host from user;

update user set host='%'  where user='root';

flush privileges;

第二部分:安装hive

【说明】:hive支持3种部署模式,分别是内嵌模式、本地模式和远程模式

1)内嵌模式:使用Hive内嵌的Derby数据库存储元数据,不能共享元数据,仅用于测试环境。

2)本地模式:使用mysql存储元数据,但是用户只能在Hive部署的服务器上连接Hive进行操作。

3)远程模式:也是使用mysql存储元数据,但是用户可以在任意服务器上远程连接Hive并进行操作。Hive提供了MetaStore和HiveServer2两种服务实现远程连接。HiveServer2服务基于Thrift实现,提供了使用JDBC和ODBC连接Hive的功能。用户通过HiveServer2服务远程连接Hive时,需要提前启动MetaStore服务。

1.上传hive安装包到hadoop03机器的/export/servers目录

在这里插入图片描述

2. 解压hive安装包并重命名为hive

# 先解压
tar  -zxvf  apache-hive-3.1.2-bin.tar.gz
# 再重命名
mv  apache-hive-3.1.2-bin  hive

注意]:hadoop和hive的运行都依赖jar包guava.jar,但是它们默认使用该jar包的版本不一致可能会有jar包冲突问题,所以需要用hadoop下的jar包替换hive中的

# 先进入目录
cd /export/servers/hadoop313/share/hadoop/common/lib
# 再把新的guava-27.0-jre.jar复制到 /export/servers/hive/lib/下。
cp  guava-27.0-jre.jar /export/servers/hive/lib/
# 最后进入到/export/servers/hive/lib/再把旧的删除
cd /export/servers/hive/lib/
rm -rf guava-19.0.jar

4. 配置环境变量

编辑/etc/profile,添加如下代码:

export  hive_home=/export/servers/hive
export  PATH=$hive_home/bin:$PATH

保存并退出后使用 source /etc/profile生效

5. 修改hive配置文件(如果没有,则需要自己添加hive-site.xml文件)

注意:第18行的mysql密码要和你自己设置的密码保持一致

进入hive安装目录下的conf目录,编辑 hive-site.xml文件,内容如下:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
     <property>
          <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true </value>
     </property>
     <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.cj.jdbc.Driver</value>
     </property>
     <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
     </property>
     <property>
         <name>javax.jdo.option.ConnectionPassword</name>
         <value>LaoCai@2024</value>
     </property>
     <property>
         <name>hive.metastore.warehouse.dir</name>
         <value>/user/hive_local/warehouse</value>
     </property>
</configuration>

6. 上传MySQL驱动包到lib目录(需要自己提前准备,或网上下载)

先进入:/export/servers/hive/lib

然后上传mysql-connector-java-8.0.30.jar

7. 初始化MySQL

【注意】:要提前启动hadoop完全分布式集群,通过jps查看一下,是不是543形式的进程

schematool  -initSchema  -dbType  mysql

8. 连接hive

hive

9. 创建数据库(使用数据库命令时记得以分号结尾)

create database  testdb1;   # 创建数据库
show databases;				# 查看数据库

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/716197.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Python 五子棋游戏(人人对战人机对战)【含Python源码 MX_006期】

系统简介&#xff1a; 五子棋是一种双人对弈的策略棋类游戏&#xff0c;玩家轮流在棋盘上落子&#xff0c;目标是通过在水平、垂直或对角线上连成一条直线的方式&#xff0c;最先在棋盘上形成连续的五颗棋子。五子棋的规则相对简单&#xff0c;但是需要玩家在落子过程中进行深思…

python14 字典类型

字典类型 键值对方式&#xff0c;可变数据类型&#xff0c;所以有增删改功能 声明方式1 {} 大括号&#xff0c;示例 d {key1 : value1, key2 : value2, key3 : value3 ....} 声明方式2 使用内置函数 dict() 创建1)通过映射函数创建字典zip(list1,list2) 继承了序列的所有操作 …

数字人源码部署怎么做?如何高效搭建好用的数字人系统?

作为人工智能时代的风口项目&#xff0c;AI数字人自出现之日起便引发了大量的关注。不少创业者都有了搭建数字人系统的想法&#xff0c;但却苦于没有强大的专业背景和雄厚资金支撑&#xff0c;只能在局外徘徊&#xff0c;而这恰恰为数字人源码公司推出的数字人源码部署服务的火…

第28讲:Ceph集群使用RBD块存储与K8S Volumes集成

文章目录 1.Ceph集群使用RBD块存储与K8S集成简介2.Ceph集群RBD块存储与K8S Volume集成2.1.在Ceph集群中创建K8S集群使用的块存储2.2.创建用于K8S访问Ceph RBD块设备的认证用户2.3.将认证用户的Key存储在K8S Secret资源中2.4.在K8S集群的所有节点中安装Ceph命令2.5.创建Pod资源使…

基于粒子群优化算法的的微电网多目标优化调度----算法改进

前言&#xff1a; 当阅读过前一篇我的博客之后&#xff0c;并且认真去读懂了那篇文章末尾的代码&#xff0c;那么&#xff0c;后续的算法改进对于你来说应当是很容易的了。前文中提及过&#xff0c;粒子群在进行迭代时&#xff0c;每迭代一次&#xff0c;都会根据自己个体最优值…

JAVA小知识22:迭代器iterator与列表迭代器ListIterator

一、迭代器 在 Java 中&#xff0c;迭代器是一个设计模式&#xff0c;用于遍历集合中的元素。Java 提供了 Iterator 接口来实现这一功能。迭代器的主要作用是提供一种通用的遍历集合的方法&#xff0c;而不需要了解集合的具体实现细节。 1.1、迭代器的特点 统一接口&#xf…

MySQL中实现行列转换的示例

在 MySQL 中进行行列转换&#xff08;即&#xff0c;将某些列转换为行或将某些行转换为列&#xff09;通常涉及使用条件逻辑和聚合函数。虽然 MySQL 没有像 Oracle/SQL Server 中的 PIVOT 和 UNPIVOT 那样的直接功能&#xff0c;但你可以通过结合 CASE 语句、UNION 或 UNION AL…

Linux下Shell脚本基础知识

主要参考视频&#xff1a; 这可能是B站讲的最好的Linux Shell脚本教程&#xff0c;3h打通Linux-shell全套教程&#xff0c;从入门到精通完整版_哔哩哔哩_bilibili 主要参考文档&#xff1a; Shell 教程 | 菜鸟教程 (runoob.com) Bash Shell教程 (yiibai.com) 先用视频入门&…

银行数仓项目实战(一)--什么是数据仓库

文章目录 数据仓库特点目的&#xff1a;监管报送监管报送的系统主要有&#xff1f;监管报送报送的数据 OLTP和OLAP 架构 数据仓库 数据仓库是一个面向主题的&#xff0c;集成的&#xff0c;非易失的且随时间变化的数据集合&#xff0c;用来支持管理人员的决策。 数据仓库是一个…

采集罗克韦尔AB、西门子等PLC数据发布成HTTP接口

智能网关IGT-DSER集成了多种PLC的原厂协议&#xff0c;方便实现各种PLC的原厂协议转换为HTTP协议的服务端&#xff0c;通过网关的参数配置软件绑定JSON文件的字段与PLC寄存器地址&#xff0c;即可接收来自客户端的GET、PUT和POST命令&#xff0c;解析和打包JSON文件(JSON文件格…

两个链表合并升序-链表题

21. 合并两个有序链表 - 力扣&#xff08;LeetCode&#xff09; 非递归 class Solution { public:ListNode* mergeTwoLists(ListNode* list1, ListNode* list2) {if(list1 nullptr && list2 ! nullptr)return list2;if(list2 nullptr && list1 ! nullptr)re…

电子传真怎么在国产系统上使用?一文看懂网络传真信创方案

国产化浪潮正在逐步深入&#xff0c;越来越多的企业开始关注如何在国产系统上高效、安全地使用办公软件&#xff0c;电子传真系统也不例外。 作为网络电子传真领域的重要品牌&#xff0c;EastFax也对原Windows电子传真系统进行了信创改造&#xff0c;全面支持国产化操作系统、…

取证工作: SysTools SQL Log Analyzer, 完整的 SQL Server 日志取证分析

天津鸿萌科贸发展有限公司是 Systools 系列软件的授权代理商。 SysTools SQL Log Analyzer 是 Systools 取证工具系列之一&#xff0c;用于调查 SQL Server 事务日志&#xff0c;以对数据库篡改进行取证分析。 什么是 SQL Server 事务日志&#xff1f; 在深入研究 SQL 事务日…

【工作】计算机行业相关的十六类工作简介

本文简单介绍了计算机行业相关的工作类别&#xff0c;共16种&#xff0c;包括常见招聘要求与平均工资。平均工资信息来源&#xff1a;米国企业点评职场社区glassdoor&#xff08;https://www.glassdoor.com/index.htm&#xff09; &#xff08;一&#xff09;软件工程师 软件…

【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术

&#x1f525; 个人主页&#xff1a;空白诗 文章目录 引言一、图数据及其应用场景1.1 图数据的定义和特征1.2 常见的图数据结构1.2.1 社交网络1.2.2 知识图谱1.2.3 分子结构1.2.4 交通网络 1.3 图数据在不同领域的应用实例1.3.1 社交网络中的推荐系统1.3.2 知识图谱中的信息检索…

流量卡怎么办理的攻略

一、确定需求 在办理流量卡之前&#xff0c;你需要明确自己的需求。根据不同的使用场景&#xff0c;你可能需要考虑以下几个方面&#xff1a; 月租费用&#xff1a;不同运营商提供的流量卡套餐价格各异&#xff0c;从低至19元到高达199元不等。 流量大小&#xff1a;从30GB到3…

ChromeDriver新手教程:一步步指导Chrome 114到127版本的驱动安装

114之前版本下载链接在这里 ​​​​​​125以后版本下载链接在此&#xff0c;只有后面status是绿色对勾的才可以下载&#xff0c;驱动大版本一致就可以使用&#xff0c;不需版本号一模一样&#xff1b;下载所需版本只需点击对应的版本名称即可跳转到对应版本的下载位置。 以…

同三维T80004JEH2-4K60 双路4K60 HDMI解码器

输出&#xff1a;2路HDMI2路3.5音频&#xff0c;最高支持1路4K60HDMI输出 可以同源/独立分屏输出两种模式可选&#xff1a;对应两个HDMI输出一样和不一样的信号 同源可以解码36路网络流&#xff08;1/4/9/16/25/36&#xff09;&#xff0c;两个HDMI输出一样的信号&#xff…

《骑行健身:“柳叶刀”研究揭示的健康与经济双赢策略》

在这个物价飞涨、经济压力日益加重的时代&#xff0c;普通人如何在不增加额外负担的情况下提升生活质量&#xff1f;《柳叶刀》的最新研究为我们揭开了一个意想不到的秘密&#xff1a;坚持健身&#xff0c;尤其是骑行&#xff0c;竟等同于每年为自己赚取了一笔不小的财富。这一…

表格识别工具哪个好?简单操作,一键识别表格

随着2024年高考的圆满结束&#xff0c;考生们迎来了新的挑战——志愿填报。这不仅是一个技术活&#xff0c;更是一个信息战。 面对海量的高校信息和复杂的数据表格&#xff0c;考生们需要一种快速、准确的方法来整理和分析这些数据。幸运的是&#xff0c;现代科技提供了多种表…