大数据学习——安装hive

一. 安装准备

1. 打开虚拟机,启动配置了NameNode节点的虚拟机(一般和mysql在同一台虚拟机)并连接shell

二. 安装

1. 上传hive安装包

hive安装包

提取码:6666

切换到/opt/install_packages目录下

可以将之前解压的rpm文件删除

将安装包拖至目录下

2. 解压

tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/softs/

切到/opt/softs目录下,修改包名称

cd /opt/softs

mv apache-hive-3.1.2-bin/ hive3.1.2

3. 配置环境变量

vim /etc/profile

添加以下内容

#HIVE_HOME
export HIVE_HOME=/opt/softs/hive3.1.2
export PATH=$PATH:$HIVE_HOME/bin

重新加载配置文件

source /etc/profile

输出路径检查

echo $HIVE_HOME

4. 解决jar包冲突

        进入hive3.1.2目录下

        cd /opt/softs/hive3.1.2

        ll

        cd lib

        ll

(1)将log4j-slf4j-impl-2.10.0.jar设置为不可用(修改后缀的方式)

        mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak        

(2)上传mysql连接的jar包

       jar包

       提取码:6666

       将jar包拖至jar目录下

        将上传的jar包拷贝到hive的lib目录下

        cp /opt/jar/mysql-connector-java-5.1.37.jar /opt/softs/hive3.1.2/lib/

(3)调整guava-*.jar包

        复制一个窗口,到hadoop目录下去找类似的包

cd /opt/softs/hadoop3.1.3/share/hadoop/common/lib/

ll

把高版本的jar包拷贝到hive 的lib目录下

cp guava-27.0-jre.jar /opt/softs/hive3.1.2/lib

执行成功后回到原窗口检查

将原来版本的加上bak后缀

mv guava-19.0.jar guava-19.0.jar.bak

三. 配置文件的修改

修改hive的conf文件

cd /opt/softs/hive3.1.2/conf/

1. hive-site.xml内容如下,编写完成后上传到conf目录下

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  
  <property>
  <!-- jdbc 连接的 URL hostname根据实际进行修改 -->
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://bigdata03:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
  </property>
  
  <!-- jdbc 连接的 Driver-->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  
  <!-- jdbc 连接的 username-->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  
  <!-- jdbc 连接的 password  root密码根据实际修改-->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  
   <!-- Hive 默认在 HDFS 的工作目录 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
   </property>
   
   <!-- 指定 hiveserver2 连接的 host hive的安装host根据实际进行修改 --> 
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>bigdata03</value>
  </property>
  
  <!-- 指定 hiveserver2 连接的端口号 --> 
  <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
  </property>
  
 
  <!-- yarn作业获取到的hiveserver2用户都为hive用户 --> 
  <property>
    <name>hive.server2.enable.doAs</name>
    <value>false</value>
  </property>
  
  <!-- hiveserver2的高可用参数,开启此参数可以提高hiveserver2的启动速度 -->
  <property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
  </property>
   
</configuration>

2. 在hadoop中core-site.xml中添加如下配置

    <!-- 安装hive时 在hadoop中core-site.xml中添加如下配置 -->
    <!-- 从任何主机登录的root用户可以伪装成一个属于任何group的用户 -->   

   <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

vim /opt/softs/hadoop3.1.3/etc/hadoop/core-site.xml 

3. 将修改同步到另外两台虚拟机

scp core-site.xml root@bigdata04:/opt/softs/hadoop3.1.3/etc/hadoop/

scp core-site.xml root@bigdata05:/opt/softs/hadoop3.1.3/etc/hadoop/

分别到另两台虚拟机上查看

cat /opt/softs/hadoop3.1.3/etc/hadoop/core-site.xml

四. 初始化hive的元数据库

1.开启mysql并连接数据库

2. 进行初始化

再复制一台虚拟机

 cd /opt/softs/hive3.1.2/bin

schematool -dbType mysql -initSchema

3. 查看

在原虚拟机上查看数据库

use hive;

show tables;

五. 启动hive

在复制的虚拟机上执行hive命令

出错喽

因为没启动hdfs

启动一下

start-dfs.sh

再次启动hive

如果启动有问题,可以查看hive日志

tail -500f /tmp/root/hive.log

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/704321.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Adaboost集成学习 | Matlab实现基于CNN-LSTM-Adaboost集成学习时间序列预测(股票价格预测)

目录 效果一览基本介绍模型设计程序设计参考资料 效果一览 基本介绍 Adaboost集成学习 | Matlab实现基于CNN-LSTM-Adaboost集成学习时间序列预测&#xff08;股票价格预测&#xff09; 模型设计 融合Adaboost的CNN-LSTM模型的时间序列预测&#xff0c;下面是一个基本的框架。 …

渗透测试工具NMAP

nmap是一个网络连接端扫描软件&#xff0c;用来扫描网上电脑开放的网络连接端。确定哪些服务运行在哪些连接端&#xff0c;并且推断计算机运行哪个操作系统&#xff08;这是亦称 fingerprinting&#xff09;。它是网络管理员必用的软件之一&#xff0c;以及用以评估网络系统安全…

linux安装jdk + docker+dockercompose+aliyunACR

下载安装包 链接&#xff1a;https://pan.baidu.com/s/1AyFvPA5qwy4IxfZoTQohrQ 提取码&#xff1a;6666 安装jdk jdk-8u411-linux-x64.tar.gz 链接&#xff1a;https://pan.baidu.com/s/1BZ7J4L5PY-9nuQyxBMDGTA 提取码&#xff1a;6666 1、解压jdk tar -xvf jdk-8u411-li…

HTML静态网页成品作业(HTML+CSS+JS)—— 美食企业曹氏鸭脖介绍网页(4个页面)

&#x1f389;不定期分享源码&#xff0c;关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 &#x1f3f7;️本套采用HTMLCSS&#xff0c;使用Javacsript代码实现 图片轮播切换&#xff0c;共有4个页面。 二、…

SylixOS下UDP组播测试程序

SylixOS下UDP组播测试 测试效果截图如下: udp组播发送测试程序。 /********************************************************************************************************* ** ** 中国软件开源组织 ** ** …

即插即用!CVD:第一个生成具有相机控制的多视图一致视频方案!(斯坦福港中文)

论文链接&#xff1a;https://arxiv.org/abs/2405.17414 项目链接&#xff1a;https://collaborativevideodiffusion.github.io/ 最近对视频生成的研究取得了巨大进展&#xff0c;使得可以从文本提示或图像生成高质量的视频。在视频生成过程中添加控制是未来的重要目标&#x…

算法:模拟题目练习

目录 题目一&#xff1a;替换所有的问号 题目二&#xff1a;提莫攻击 题目三&#xff1a;N字形变换 题目四&#xff1a;外观数列 题目五&#xff1a;数青蛙 首先先解释一下模拟算法是什么&#xff0c;其实模拟算法就是题目让我们干什么我们就干什么&#xff0c;思路比较简…

【数据库设计】宠物商店管理系统

目录 &#x1f30a;1 问题的提出 &#x1f30a;2 需求分析 &#x1f30d;2.1 系统目的 &#x1f30d;2.2 用户需求 &#x1f33b;2.2.1 我国宠物行业作为新兴市场&#xff0c;潜力巨大 &#x1f33b;2.2.2 我国宠物产品消费规模逐年增大 &#x1f33b;2.2.3 我国宠物主选…

YOLOv5改进 | Head | 将yolov5的检测头替换为ASFF_Detect

&#x1f4a1;&#x1f4a1;&#x1f4a1;本专栏所有程序均经过测试&#xff0c;可成功执行&#x1f4a1;&#x1f4a1;&#x1f4a1; 在目标检测中&#xff0c;为了解决尺度变化的问题&#xff0c;通常采用金字塔特征表示。然而&#xff0c;对于基于特征金字塔的单次检测器来…

凡尔码来访登记卡助力来访安全

来访登记制度是指为了加强对来访人员的管理和安全控制&#xff0c;确保组织内部秩序和安全的一项制度。通过来访登记制度&#xff0c;可以对来访人员的身份进行核实&#xff0c;了解来访目的&#xff0c;并采取相应的安全措施&#xff0c;为组织内部的工作和人员安全提供保障。…

Sass实战运用,如何利用好Sass

Sass&#xff08;Syntactically Awesome Stylesheets&#xff09;是一种CSS预处理器&#xff0c;它提供了许多强大的功能&#xff0c;如变量、嵌套规则、混合&#xff08;Mixins&#xff09;、函数等&#xff0c;使得CSS的编写更加高效、灵活和易于维护。以下是关于Sass实战运用…

Go基础编程 - 05 - 数组与切片

目录 1. 数组2. 切片2.1. slice 声明、初始化2.2. slice 操作2.3. append() 追加切片、扩容2.4. 字符串和切片 3. Copy4. Array、Slice 内存布局 上一篇&#xff1a;基本类型、常量和变量 1. 数组 数组是同一种类型固定长度的序列&#xff08;有长度、类型构成&#xff09;。…

Postgres 正在吞噬数据库世界

Postgres 正在吞噬数据库世界 作者&#xff1a;Ruohang Feng&#xff08;Vonng&#xff09;|微信| Medium | 2024-03-04 标签&#xff1a; PostgreSQL生态系统 PostgreSQL 不仅仅是一个简单的关系型数据库&#xff0c;它还是一个数据管理框架&#xff0c;具有席卷整个数据库领…

基于WPF技术的换热站智能监控系统04--实现左侧历史曲线

1、区域划分 左侧分5行&#xff0c;第一行信息标题&#xff0c;第二行历史曲线 2、安装livecharts图表控件 3、引入图表控件命名空间 4、使用控件 5、运行效果 走过路过不要错过&#xff0c;点赞关注收藏又圈粉&#xff0c;共同致富&#xff0c;为财务自由作出贡献

IP地址乱成一团?用Shell一键搞定!

在日常的运维工作中&#xff0c;我们经常需要对各种数据进行处理和分析&#xff0c;其中包括对IP地址的管理和排序。排序后的IP地址列表可以帮助我们更好地进行日志分析、网络流量监控和故障排除。 本文将模拟一个运维场景&#xff0c;展示如何对IP地址进行排序&#xff0c;并探…

Mongodb使用$pop删除数组中的元素

学习mongodb&#xff0c;体会mongodb的每一个使用细节&#xff0c;欢迎阅读威赞的文章。这是威赞发布的第67篇mongodb技术文章&#xff0c;欢迎浏览本专栏威赞发布的其他文章。如果您认为我的文章对您有帮助或者解决您的问题&#xff0c;欢迎在文章下面点个赞&#xff0c;或者关…

编译和连接

目录1. 翻译环境和运行环境2. 翻译环境:预编译编译汇编链接1. 翻译环境和运行环境 在ANSI C 的任何一种实现中&#xff0c;存在两个不同环境。 (1) 翻译环境&#xff0c;在这种环境中源代码被转换为可执行的机器指令(二进制指令)。 (2) 执行环境&#xff0c;它用于实际执行的代…

PostgreSQL 多表连接不同维度聚合统计查询

摘要:在本文中,你将学习到如何使用 PostgreSQL 完全外连接,从两个或多个表中聚合维度统计数据。 文章目录 一、常用的连接类型图示二、数据库表设计示例三、连接查询示例1. inner join 内连接(不能满足维度统计需求)2. full join 完全外连接(满足维度统计需求)一、常用的…

Golang免杀-分离式加载器(传参)AES加密

目录 enc.go 生成: dec.go --执行dec.go...--上线 cs生成个c语言的shellcode. enc.go go run .\enc.go shellcode 生成: --key为公钥. --code为AES加密后的数据, ----此脚本每次运行key和code都会变化. package mainimport ("bytes""crypto/aes"&…

java1.8运行arthas-boot.jar运行报错解决

报错内容 输入java -jar arthas-boot.jar&#xff0c;后报错。 [INFO] JAVA_HOME: D:\developing\jdk\jre1.8 [INFO] arthas-boot version: 3.7.2 [INFO] Can not find java process. Try to run jps command lists the instrumented Java HotSpot VMs on the target system.…