Apache Hive的部署与体验

一、Apache Hive概述

  1. 什么是分布式SQL计算?
    以分布式的形式,执行SQL语句,进行数据统计分析。
  2. Apache Hive是做什么的?
  • 很简单,将SQL语句翻译成MapReduce程序,从而提供用户分布式SQL计算的能力。
  • 传统MapReduce开发:写MR代码->得到结果
  • 使用Hive开发:写SQL->得到结果
  • 底层都是MR在运行,但是使用层面上更加简单了

二、Hive部署与体验

1、安装MySql数据库

# 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

# 安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm

# yum安装Mysql
yum -y install mysql-community-server

# 启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld

# 检查Mysql服务状态
systemctl status mysqld

# 第一次启动mysql,会在日志文件中生成root用户的一个随机密码,使用下面命令查看该密码
grep 'temporary password' /var/log/mysqld.log

# 修改root用户密码
mysql -u root -p -h localhost
Enter password:
 
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Root!@#$';

# 如果你想设置简单密码,需要降低Mysql的密码安全级别
set global validate_password_policy=LOW; # 密码安全级别低
set global validate_password_length=4;	 # 密码长度最低4位即可

# 然后就可以用简单密码了(课程中使用简单密码,为了方便,生产中不要这样)
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';

/usr/bin/mysqladmin -u root password 'root'

grant all privileges on *.* to root@"%" identified by 'root' with grant option;  
flush privileges;

2、配置Hadoop

配置如下内容在Hadoop的core-site.xml中,并分发到其它节点,且重启HDFS集群

<property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
  </property>

  <property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
  </property>

3、下载Hive

点此官网链接下载

# 解压
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export
# 创建软连接
ln -s /export/apache-hive-3.1.3-bin /export/hive

4、下载MySql驱动包

点此官网下载

# 将下载好的驱动jar包,移动到Hive安装目录lib下:
mv mysql-connector-java-5.1.34.jar /export/hive/lib/

5、在Hive目录conf下,创建hive-env.sh文件,内容如下:

export HADOOP_HOME=/export/hadoop
export HIVE_CONF_DIR=/export/hive/conf
export HIVE_AUX_JARS_PATH=/export/hive/lib

6、在Hive目录conf下,创建hive-site.xml文件,内容如下:

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>

  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node1</value>
  </property>

  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://node1:9083</value>
  </property>

  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>

</configuration>

7、 初始化元数据库

  • 先创建数据库: hive,在mysql中执行:
CREATE DATABASE hive CHARSET UTF8;
  • 执行元数据库初始化命令:
cd /export/hive
bin/schematool -initSchema -dbType mysql -verbos

8、启动hive(使用hadoop用户)

# 创建一个hive的日志文件夹: 
mkdir /export/server/hive/logs
# 启动元数据管理服务(必须启动,否则无法工作)
# 前台启动:
bin/hive --service metastore 
# 后台启动:
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
# 启动客户端,二选一(当前先选择Hive Shell方式)
# Hive Shell方式(可以直接写SQL): 
bin/hive
# Hive ThriftServer方式(不可直接写SQL,需要外部客户端链接使用): 
bin/hive --service hiveserver2

执行成功图示
至此,Apache Hive的部署与体验 结束!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/489787.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

碳实践|企业组织碳排放源识别方法、案例分析,及注意事项

在上一章中讲到“界、源、算、质、查”五步法实现企业组织碳的完整核算流程&#xff0c;本章将针对其中的“源”- “识别排放源”这一步骤来展开,主要分析其识别方法、实操案例&#xff0c;并列举注意事项。 企业识别碳排放源是指在组织边界内找到产生碳排放的设施&#xff0c;…

python--函数的参数问题

1.函数的参数&#xff1a; 默认值参数&#xff1a;通过定义函数时&#xff0c;将可能调用时不怎么变化的参数&#xff0c;给定默认值&#xff0c;在调用时方便调用 注意&#xff1a;位置参数不能写在默认值参数后边 可变参数&#xff08;不定长参数&#xff09;&#xff1a;在开…

mysql日志管理 、备份与恢复

目录 一 MySQL 日志 &#xff08;一&#xff09;&#xff0c;日志位置 &#xff08;二&#xff09;配置文件中 与日志相关的代码 1&#xff0c;错误日志 2&#xff0c;通用查询日志 3&#xff0c;二进制日志(binlog) 4&#xff0c;中继日志 5&#xff0c;慢查询日志…

国内ip地址随意更换的潜在风险和策略

在数字化时代&#xff0c;IP地址是互联网通信的基础&#xff0c;而国内IP地址的随意更换可能带来一系列安全风险和问题。虎观代理小二将探讨国内IP地址随意更换的潜在影响以及如何有效应对这一挑战。 1.什么是国内IP地址&#xff1f; 国内IP地址是指在国内分配和使用的IP地址&…

企事业单位如何判断第三方软件测试机构的专业性和可信度?

第三方软件测试机构&#xff0c;指的是独立于被测试软件开发者和用户的中立测试机构。它们承担着对软件进行全面测试和评估的任务&#xff0c;以确保软件的质量和稳定性。那么&#xff0c;企事业单位在选择时应怎样判断一个第三方软件测试机构的专业性和可信度呢? 一个专业的…

Data.olllo解密:秒数转换为日期格式的神奇技能!

引言&#xff1a; 时间是数据世界中不可或缺的一环&#xff0c;而将秒数转换为易读的日期格式往往是数据处理中的一大挑战。但是&#xff0c;有了Data.olllo&#xff0c;这一任务将变得异常简单&#xff01; 功能介绍&#xff1a; Data.olllo的秒数转换功能可以让您轻松地将秒…

小折叠手机如何经久耐用?收下这份日常养护指南

不同于普通手机的玻璃屏幕&#xff0c;折叠机出于折叠的特性&#xff0c;使用了柔性屏幕。因此撕除原厂保护膜时&#xff0c;由于贴膜较强的粘合力&#xff0c;很容易就会导致屏幕产生不可修复的损伤。 这也是为什么各大手机厂商都不允许折叠机私自贴膜的原因&#xff0c;并且…

C++ 迭代器与反向迭代器

目录 一&#xff0c;什么是迭代器 1&#xff0c;定义 2&#xff0c;迭代器的设计思维 3&#xff0c;迭代器种类 二&#xff0c;迭代器与容器 1&#xff0c;容器中的迭代器 2&#xff0c;迭代器失效问题 三&#xff0c;迭代器的类型萃取&#xff08;traits&#xff09; …

动态多态的注意事项

大家好&#xff1a; 衷心希望各位点赞。 您的问题请留在评论区&#xff0c;我会及时回答。 多态的基本概念 多态是C面向对象三大特性之一&#xff08;多态、继承、封装&#xff09; 多态分为两类&#xff1a; 静态多态&#xff1a;函数重载和运算符重载属于静态多态&#x…

程序员35岁会失业吗?这事儿其实没那么简单!

35岁被认为是程序员职业生涯的分水岭&#xff0c;许多程序员开始担忧自己的职业发展是否会受到年龄的限制。有人担心随着年龄的增长&#xff0c;技术更新换代的速度会使得资深程序员难以跟上&#xff1b;而另一些人则认为&#xff0c;丰富的经验和深厚的技术积累是年轻程序员无…

基于WTVXXX-32SS智能门锁后板锁方案

一&#xff1a;简介 随着用户认知和生活习惯的改变&#xff0c;消费者对构建便捷生活和智能家居系统的诉求持续增多&#xff0c;智能门锁作为智能家居的门面和典型的物理级入口&#xff0c;成为打造全屋智能必不可少的环节。随着智能门锁行业规模的不断提升&#xff0c;产品的生…

2024南京人工智能展会:定于2024年11月份在南京国际博览中心举行

2024南京国际人工智能展览会&#xff0c;拟定于2024年11月份在南京国际博览中心隆重召开。这一盛大的科技盛宴&#xff0c;无疑将为全球人工智能领域注入新的活力&#xff0c;推动科技创新与社会进步。 此次展览会将以“智能未来&#xff0c;共创辉煌”为主题&#xff0c;汇聚全…

IDEA中快速配置Git

Git介绍&#xff1a; Git下载 idea中配置Git

淘宝app商品数据API接口|item_get_app-获得淘宝app商品详情原数据

获得淘宝app商品详情原数据 API返回值说明 item_get_app-获得淘宝app商品详情原数据 公共参数​​​​​​ 名称类型必须描述keyString是调用key&#xff08;必须以GET方式拼接在URL中&#xff09;secretString是调用密钥api_nameString是API接口名称&#xff08;包括在请求地…

低代码开发平台开源:提升效率,轻而易举!

当前&#xff0c;数字化转型与社会高速发展都是人们肉眼可见的发展趋势。作为中小企业&#xff0c;如何在激烈的市场竞争中脱颖而出&#xff1f;如何赢得话语权和主动权&#xff0c;从而提升市场竞争力&#xff1f;这就需要考虑引进更为先进和专业的办公利器了。低代码开发平台…

【Java程序设计】【C00379】基于(JavaWeb)Springboot的旅游服务平台(有论文)

【C00379】基于&#xff08;JavaWeb&#xff09;Springboot的旅游服务平台&#xff08;有论文&#xff09; 项目简介项目获取开发环境项目技术运行截图 博主介绍&#xff1a;java高级开发&#xff0c;从事互联网行业六年&#xff0c;已经做了六年的毕业设计程序开发&#xff0c…

网游版五子棋

五子棋游戏属于开房间类休闲游戏。可以非常方便实现分布式战斗服横向拓展&#xff0c;只要感觉服务器有压力&#xff0c;可以通过动态加战斗服服务器来实现。本文介绍一个基于jforgame组件开发的五子棋网络小游戏&#xff0c;支持分布式部署战斗服。 1.通信组件 浏览器&#…

python IDLE shell 编辑多行代码

1 打开软件 2创建python文本编辑 创建项目 点击File显示如图 再点击New File 将会弹出文本编辑区域 编辑多行代码 def greet(name):print("Hello, " name "!")greet("World")保存 点击File 再点击 Save 即可保存 &#xff08;或…

【动态规划】【数学方法】Leetcode 343. 整数拆分

【动态规划】【数学方法】Leetcode 343. 整数拆分 解法 动态规划解法 数学 每次拆成n个3&#xff0c;如果剩下是4&#xff0c;则保留4&#xff0c;然后相乘 ---------------&#x1f388;&#x1f388;343. 整数拆分 题目链接&#x1f388;&#x1f388;------------------- …

创建多节点 k8s 集群

主机IP系统master192.168.2.15ubuntu20.04 x64 2C 4GWorker1192.168.2.16ubuntu20.04 x64 2C 4GWorker1192.168.2.18ubuntu20.04 x64 2C 4G 使用 iterm2 连接四台服务器 command shift i 同时操作 初始化配置 关闭防火墙 systemctl stop firewalld systemctl disable firewa…