全国职业院校技能大赛(大数据赛项)-平台搭建hive笔记

        在大数据时代,数据量呈爆炸性增长,传统的数据处理工具已难以满足需求。Hive作为一个开源的数据仓库工具,能够处理大规模数据集,提供了强大的数据查询和分析能力,是大数据学习中的关键工具。在全国职业院校技能大赛(大数据技术与应用赛项)中的平台搭建模块,hive的搭建也是经常考察的问题,今天大家随着小编一起来看一看如何才能避开所有坑,在CentOS7系统中完成Hive的搭建工作,帮助大家快速有效的备赛!!

        首先因为hive是需要依赖Hadoop集群环境和MySQL的,所以大家先保证这两个是已经搭建完成的再来进行hive的搭建。以2023年国赛的软件版本为例,Hive使用的为3.1.3。而且小编也会给大家贴心的写出部分命令的解释,方便大家学习。

一、解压Hive安装包到指定目录
tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module
  • tar:这是执行打包和解包操作的命令。

  • -zxvf:这是tar命令的选项,用于指定tar命令的行为。

    • z:表示通过gzip进行压缩或解压缩。这意味着tar命令将处理.tar.gz.tgz格式的压缩包。
    • x:表示解压缩。这是与打包(c选项)相对的操作,用于从压缩包中提取文件。
    • v:表示在解压缩过程中显示详细信息,即列出正在被解压的文件。
    • f:表示接下来要指定压缩包的文件名。这个选项告诉tar命令,接下来的参数是压缩包的文件名,而不是要打包或解包的文件列表。
  • -C /opt/module:这个选项(注意是大写的C,不是小写的c)用于指定解压缩后文件的目标目录。-C选项后面跟着的是目标目录的路径。
二、文件夹重命名

        我们先进入到/opt/module文件夹下,然后执行下面的命令,这样做是为了后续配置变量等方便一点,当然了,大家也可以不改这一步。

mv apache-hive-3.1.2-bin hive
 三、在hive的lib目录下放入MySQL驱动包
mv mysql-connector-java-5.0.8.jar hive/lib
四、配置环境变量
vim /etc/profile

        随后在文件末尾处添加:

# HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

        启动环境变量 

source /etc/profile
 五、配置主要文件

        首先进入到hive的conf目录下

cd /opt/module/hive/conf/

         将副本拷贝成一份文件,这一步是为了大家写错之后有原本可以还原

cp hive-env.sh.template hive-env.sh

         修改hive-env.sh环境的配置,在该文件末尾添加:

export JAVA_HOME=/opt/module/jdk
export HADOOP_HOME=/opt/module/hadoop
export HIVE_HOME=/opt/module/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf

        将副本拷贝成一份文件:

cp hive-default.xml.template hive-site.xml

        修改以下配置:

<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://你的虚拟机IP:3306/hivedb?createDatabaseIfNotExist=true&amp;useSSL=false</value>
	<description> localhost虚拟机IP地址,hivedb数据库的名字(随意)createDatabaseIfNotExist 如果数据库不存在自动创建</description>
</property>
<!--配置数据库驱动-->
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<!--配置数据库用户名-->
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>你的用户(一般为root)</value>
</property>
<!--配置MySQL数据库root的密码-->
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>你的密码</value>
</property>
 六、schema格式化
schematool -dbType mysql -initSchema

        大家执行这个命令之后会报很多种错误,但是同学们别急,小编尽量贴出来所有错误,首先如果大家遇到这个错误:

        这个错误是由于hadoop3.x中的这个目录下“/opt/module/hadoop/share/hadoop/common/lib”的“guava-27.0-jre.jar”包与我们hive目录lib目录下“guava-19.0.jar”的版本冲突了,解决方法很简单,我们将hive目录下的jar包删除,随后将hadoop的这个包复制到hive的lib目录下即可了。

rm -rf /opt/module/hive/lib/guava-19.0.jar
cp /opt/module/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /opt/module/hive/lib/

        随后再次执行初始化命令,正当我们志得意满的时候,发现他又又报错了

        真是头大,但是还好报错写的很清楚,告诉我们是hive-size.sh文件中第3215行出现错误了,那我们就看看怎么个事。

        大家可以看到,我的3215行明明是一个<description>标签,这个怎么会报错呢,其实眼尖的同学能看出来那个"for&#8"的颜色不太对啊,为啥他那么独特,其实这是因为他是一个特殊字符,咱们最好还是将这一整段都删除掉比较保险。删除整个<description>标签的内容之后,我们再次执行初始化命令!

        小编这里初始化成功了,当我以为万事大吉之后,他又又又报错了…………(其实我知道他肯定会报错的,但是为了照顾同学们,嘿嘿……)

        

        咱们就一步一步来,这个报错大家能看到“URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D”这一串吧,其实问题就出在这里,其实这里需要大家在hive-site.xml配置文件中需要配置system:java.io.tmpdir属性。但是我可不管三七二十一,我不配,咱们直接查找把所有“system:”删除掉,不是报错吗,我全删了看你还错不错了!!(在命令模式下按n可以进行下一个的查找)

        直到全部删除即可,我们保持退出,随后再次启动hive

        终于进来了,555555~~~,但是我告诉大家,除了我上面说的这些错误,还有很多复杂的问题大家在平时的练习中还会遇到,特别有一个大家应该也发现了,就是初始化的时候打印了大量的空白,这样在比赛中粘贴答案是肯定扣分的,这个问题其实是hive在初始化的时候打印了大量日志,但是咱们看不到,所以就是空白,大家研究一下怎么关闭日志就行,很简单的哦,大家在准备省赛或者国赛,有什么问题都可以关注这个账号私信哦。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/881545.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Git使用详解:从安装到精通

前言 什么是Git Git是一个分布式版本控制工具&#xff0c;主要用于管理开发过程中的源代码文件&#xff08;Java类、xml文件、html页面等&#xff09;&#xff0c;在软件开发过程中被广泛使用。 可以理解&#xff1a; git是一个管理源代码的工具&#xff0c;主要用于企业团队开…

【数据结构C语言】【入门】【首次万字详细解析】入门阶段数据结构可能用到的C语言知识,一章让你看懂数据结构!!!!!!!

前言&#xff1a;欢迎各位光临本博客&#xff0c;这里小编带你直接手撕入门阶段的数据结构的C语言知识&#xff0c;让你不再看见数据结构就走不动道。文章并不复杂&#xff0c;愿诸君耐其心性&#xff0c;忘却杂尘&#xff0c;道有所长&#xff01;&#xff01;&#xff01;&am…

学习笔记——RegNet:Designing Network Design Spaces

RegNet&#xff1a;Designing Network Design Spaces RegNet&#xff1a;设计一个网络设计空间 论文地址&#xff1a; https://arxiv.org/pdf/2003.13678 1、前言 在这项工作中&#xff0c;作者提出了一种新的网络设计范例。 作者的目标是帮助增进对网络设计的理解并发现跨设置…

网络安全:建筑公司会计软件遭受暴力攻击

黑客正在暴力破解基金会会计服务器上高权限账户的密码&#xff0c;这些账户广泛用于建筑行业&#xff0c;从而侵入企业网络。 这一恶意活动最先被 Huntress 发现&#xff0c;其研究人员于 2024 年 9 月 14 日检测到了此次攻击。 Huntress 已经发现这些攻击对管道、暖通空调、…

元学习的简单示例

代码功能 模型结构&#xff1a;SimpleModel是一个简单的两层全连接神经网络。 元学习过程&#xff1a;在maml_train函数中&#xff0c;每个任务由支持集和查询集组成。模型先在支持集上进行训练&#xff0c;然后在查询集上进行评估&#xff0c;更新元模型参数。 任务生成&…

时间安全精细化管理平台存在未授权访问漏洞

漏洞描述 登录--时间&amp;安全精细化管理平台存在未授权访问漏洞导致与员工信息泄露 FOFA&#xff1a; body"登录--时间&amp;安全精细化管理平台" 漏洞复现 POC: IP/acc/_checkinoutlog_/

Linux开发工具(git、gdb/cgdb)--详解

目录 一、Linux 开发工具分布式版本控制软件 git1、背景2、使用 git&#xff08;1&#xff09;预备工作——安装 git&#xff1a;&#xff08;2&#xff09;克隆远程仓库到本地&#xff08;3&#xff09;把需要提交的代码拷贝到本地仓库&#xff08;4&#xff09;提交本地仓库文…

基于协同过滤+SpringBoot+Vue的剧本杀服务平台系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、SSM项目源码 系统展示 【2025最新】基于协同过滤JavaSpringBootV…

Liveweb视频汇聚平台支持GB28181转RTMP、HLS、RTSP、FLV格式播放方案

GB28181协议凭借其在安防流媒体行业独有的大统一地位&#xff0c;目前已经在各种安防项目上使用。雪亮工程、幼儿园监控、智慧工地、物流监控等等项目上目前都需要接入安防摄像头或平台进行直播、回放。而GB28181协议作为国家推荐标准&#xff0c;目前基本所有厂家的安防摄像头…

【数据结构-二维差分】力扣2536. 子矩阵元素加 1

给你一个正整数 n &#xff0c;表示最初有一个 n x n 、下标从 0 开始的整数矩阵 mat &#xff0c;矩阵中填满了 0 。 另给你一个二维整数数组 query 。针对每个查询 query[i] [row1i, col1i, row2i, col2i] &#xff0c;请你执行下述操作&#xff1a; 找出 左上角 为 (row1…

Qt圆角窗口

Qt圆角窗口 问题&#xff1a;自己重写了一个窗口&#xff0c;发现用qss设置圆角了&#xff0c;但是都不生效&#xff0c;不过子窗口圆角都生效了。 无边框移动窗口 bool eventFilter(QObject *watched, QEvent *evt) {static QPoint mousePoint;static bool mousePressed f…

灵当CRM系统index.php存在SQL注入漏洞

文章目录 免责申明漏洞描述搜索语法漏洞复现nuclei修复建议 免责申明 本文章仅供学习与交流&#xff0c;请勿用于非法用途&#xff0c;均由使用者本人负责&#xff0c;文章作者不为此承担任何责任 漏洞描述 灵当CRM系统是一款功能全面、易于使用的客户关系管理&#xff08;C…

在Linux中运行flask项目

准备 这里我准备了一个GitHub上某个大佬写的留言板的Flask项目&#xff0c;就用这个来给大家做示范了。 查看留言板的目录结构 查看主程序所用的库函数 只有一个第三方库 Flask 安装pip sudo apt install python3-pip -y测试 pip 安装成功 修改pip镜像源 修改pip的默认下载…

表格标记<table>

一.表格标记、 1table&#xff1a;表格标记 2.caption:表单标题标记 3.tr:表格行标记 4.td:表格中数据单元格标记 5.th:标题单元格 table标记是表格中最外层标记&#xff0c;tr表示表格中的行标记&#xff0c;一对<tr>表示表格中的一行&#xff0c;在<tr>中可…

嵌入式 开发技巧和经验分享

文章目录 前言嵌入式 开发技巧和经验分享目录1.1嵌入式 系统的 定义1.2 嵌入式 操作系统的介绍1.3 嵌入式 开发环境1.4 编译工具链和优化1.5 嵌入式系统软件开发1.6 嵌入式SDK开发2.1选择移植的系统-FreeRtos2.2FreeRtos 移植步骤2.3 系统移植之中断处理2.4系统移植之内存管理2…

搜索引擎onesearch3实现解释和升级到Elasticsearch v8系列(二)-索引

场景 首先介绍测试的场景&#xff0c;本文schema定义 pdm文档索引&#xff0c;包括nested&#xff0c;扩展字段&#xff0c;文档属性扩展&#xff0c;其中_content字段是组件保留字段&#xff0c;支持文本内容 索引 索引服务索引的操作&#xff0c;包括构建&#xff0c;put …

缓存数据和数据库数据一致性问题

根据以上的流程没有问题&#xff0c;但是当数据变更的时候&#xff0c;如何把缓存变到最新&#xff0c;使我们下面要讨论的问题 1. 更新数据库再更新缓存 场景&#xff1a;数据库更新成功&#xff0c;但缓存更新失败。 问题&#xff1a; 当缓存失效或过期时&#xff0c;读取…

C++——string的了解和使用

目录 引言 为什么要学习string 1.C语言中的字符串 2.C中的字符串 auto和范围for 1.auto 1.1 auto的介绍 1.2 注意事项 2.范围for 标准库中的string类 1.string类的迭代器 1.1 begin()与end()函数 1.2 rbegin()与rend()函数 2.string类的初始化和销毁 3.string类…

企业内网安全

企业内网安全 1.安全域2.终端安全3.网络安全网络入侵检测系统异常访问检测系统隐蔽信道检测系统 4.服务器安全基础安全配置入侵防护检测 5.重点应用安全活动目录邮件系统VPN堡垒机 6.蜜罐体系建设蜜域名蜜网站蜜端口蜜服务蜜库蜜表蜜文件全民皆兵 1.安全域 企业出于不同安全防…

【ArcGISProSDK】初识

简介 ArcGIS Pro SDK 提供四种主要的可扩展性模式&#xff1a;加载项、托管配置、插件数据源和 CoreHost 应用程序。 加载项 加载项是使用 .NET 以及 Esri 的桌面应用程序标记语言 &#xff08;DAML&#xff09; &#xff08;一种由 Esri 创建的 XML 语言&#xff09;创作的…