🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇
个人主页：beixi@
本文章收录于专栏（点击传送）：【大数据学习】
💓💓持续更新中，感谢各位前辈朋友们支持学习~💓💓
文章目录
- 1.Hive环境介绍
- 2.搭建环境准备
- 3.建立Hive元数据库
- 4.安装配置Hive
1.Hive环境介绍
Hive在Hadoop生态系统中运行，依赖Hadoop分布式文件系统（HDFS）和YARN资源管理器。它由以下几个主要组件组成：
- 元数据存储：Hive使用关系型数据库（如MySQL、Derby等）来存储元数据，包括表的结构、分区信息、数据位置等。
- Hive服务：Hive提供Hive CLI（命令行界面）和HiveServer2两种服务方式。Hive
- CLI用于交互式查询和脚本执行，而HiveServer2允许通过JDBC或ODBC连接进行远程查询。
- 查询执行引擎：Hive将HiveQL查询语句转换为MapReduce作业或Tez任务，并通过Hadoop集群执行这些作业。此外，Hive还支持LLAP（低延迟分析查询协议）引擎，用于加速查询执行。
- 数据格式：Hive支持多种数据格式，包括文本、CSV、Parquet、ORC等。这些格式可以根据数据特性和查询需求进行选择。
2.搭建环境准备
本次用到的环境有：
1)Oracle Linux 7.4
2)Hadoop2.7.4
3)Hive2.1.1
4)Mysql5.5.57
5)Java1.8.0_144
3.建立Hive元数据库
1.进入MySQL命令窗口
mysql
2.建立Hive元数据需要的MySQL下的数据库“hive”，并赋予相应权限
create database hive;
grant all privileges on *.* to 'root'@'master' identified by 'root';
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;
3.查看数据库“hive”的权限
SELECT host,user,authentication_string,Grant_priv,Super_priv FROM mysql.user;
4.退出MySQL命令窗口
quit;
4.安装配置Hive
1.解压Hive压缩包至/opt目录下。
tar xf experiment/file/apache-hive-2.1.1-bin.tar.gz -C /opt/
ll /opt/
2.解压后的Hive压缩包apache-hive-2.1.1-bin更名为hive。
mv /opt/apache-hive-2.1.1-bin /opt/hive
ll /opt/
3.拷贝Hive需要的mysql依赖包mysql-connector-java-5.1.42.jar 至hive/lib目录下。
cp ~/experiment/file/mysql-connector-java-5.1.42.jar /opt/hive/lib/
ll /opt/hive/lib/mysql-*
4.打开配置Hive环境变量的文件profile。
vim /etc/profile
5.敲键盘“i”键，使profile处于可插入状态，配置Hive环境变量参数。
export HIVE_HOME=/opt/hive
export HIVE_CONF_DIR=/opt/hive/conf
export PATH=$HIVE_HOME/bin:$PATH
6.按“ESC”键，敲“:wq!”命令，按回车保存并退出profile文件。
:wq!
7.使profile文件配置生效。
source /etc/profile
8.查看hive的环境变量是否生效。
echo $PATH
9.进入Hive配置文件的目录。
cd /opt/hive/conf/
ll
10.生成hive-site.xml文件。
cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xml
ll
11.打开配置hive-site.xml文件。
vim /opt/hive/conf/hive-site.xml
12.删除hive-site.xml文件中标签与之间的所有内容。根据实际情况而删
22gg
5327dd
13.删除hive-site.xml文件指定内容后的文件全部内容如下。
14.通过键盘敲入”i”，使更改后的hive-site.xml文件处于可编辑状态，即可在文件下方看到“INSERT”或“插入”的字样。
15.将需要配置的参数敲入或者去已经配置好的文件里将配置内容（即Code001的所有内容）全部复制到hive-site.xml文件中与标签之间，粘贴的所有内容如下：
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/data/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master/hive?createDatabaseIfNotExist=true&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
16.注意粘贴（点击文档的空白处，点击鼠标右键，即可看到“粘贴”或“Paste”选项，选中它完成粘贴）的位置位于标签与之间。
17.粘贴后的hive-site.xml文件如下所示，按ESC键，录入“:wq!”退出并保存文件。
:wq!
至此Hive的安装与配置就结束了，如果本篇文章对你有帮助记得点赞收藏+关注~
