ubuntu-server部署hive-part2-安装hadoop

参照

https://blog.csdn.net/qq_41946216/article/details/134345137

操作系统版本:ubuntu-server-22.04.3

虚拟机:virtualbox7.0

安装hadoop

​​​​​​下载上传

下载地址

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/

以root用户,上传

解压 tar zxvf hadoop-3.3.4.tar.gz

重命名 mv hadoop-3.3.4 hadoop

配置环境变量

以root用户,配置环境变量

vi .profile

/opt/hadoop

以root用户,执行source .profile变量生效,并检验

配置文件设置

除启停命令外,其余配置文件均位于$HADOOP_HOME/etc/hadoop

hadoop-env.sh

core-site.xml

vi core-site.xml

将 hadoop001改为 virtualbox_u22034server

hdfs-site.xml

vi hdfs-site.xml

将 hadoop001改为 virtualbox_u22034server

yarn-site.xml

vi yarn-site.xml

mapred-site.xml

workers

非集群可以不配置

sbin下启停命令

$HADOOP_HOME/sbin

在 sbin下的start-dfs.sh和stop-dfs.sh中顶部配置

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

复制hadoop至其他节点

伪分布式不执行此步

hdfs格式化

hdfs namenode -format

过程中会提示,输入y,回车

启动hdfs

cd /opt/hadoop

./sbin/start-dfs.sh

以上截图说明启动异常,具体内容见问题处理

解决后

在浏览器中输入http://192.168.12.66:9870,访问页面如下

启动yarn

start-yarn.sh

在浏览器中输入http://192.168.12.66:8088,访问页面如下

问题处理

hdfs启动服务时报错

报错截图如下

执行以下命令,然后连续点三下回车生成SSH密匙对

把密匙对分发给本机,让本机可以免密登录

ssh-keygen -t rsa

ssh-copy-id $(hostname)

无报错没正常启动hdfs

进入$HADOOP_HOME/logs,查看datanode日志

该报错是因为linux计算名不能出现下划线。将virtualbox_u22034server

改为virtualbox-u22034server

vi /etc/hostname

hadoop配置文件中的virtualbox_u22034server改为virtualbox-u22034server

重启:reboot

启动hadoop:start-dfs.sh

查看java虚拟机进程:jps,如下所示说明已经正常启动了。

如果以上处理完还不没有成功启动,尝试以下操作

检查core-site.xml 和 hdfs-site.xml;

删除两个配置文件中配置的目录

删除/opt/hadoopdata/dfs中的文件

删除/opt/hadoop/logs中的文件

重启服务器

重新执行格式化NameNode

再次启动hdfs

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/520903.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

JDK 17 新特性实战,答案整理,最新面试题

JDK 17中的Pattern类增强了哪些功能? 1、新增asMatchPredicate方法: JDK 17的Pattern类新增了asMatchPredicate方法,可以将正则表达式编译为Predicate,方便用于过滤集合中的字符串。 2、增强了Unicode属性支持: JDK …

LLM推理参数(top_k,top_p, temperature, num_beams)

正常LLM做 next token predicate 时,对输出的 logits 做 softmax,选择概率最大的token。 num_beams :当我们设置 num_beams2 后,就使用了 beam search 的方法,每次不是只直接选择概率最大的 token,而是保留…

0基础确定要?进入it行业?

0基础如何进入IT行业? 🌟想进入IT行业?以下是一些对于0基础的人来说可行的步骤和建议!🌟 "IT"是信息技术(Information Technology)的缩写,它指的是使用计算机、网络、软件和其他设备或系统来存…

数据安全之认识数据库审计系统

随着企业业务数据量的不断增长和数据存储的集中化,数据库成为企业的核心资产之一。然而,数据库面临着各种安全威胁,如SQL注入、权限滥用、数据泄露等。为了保障数据库的安全性和完整性,企业需要采取有效的审计措施来监控和记录数据…

spring源码解析-默认标签解析

spring 默认标签解析 parseDefaultElement处理流程 processBeanDefinition方法解析 processBeanDefinition时序图 元素解析 parseBeanDefinitionElement parseBeanDefinitionElement方法核心源码解析 创建GenericBeanDefinition实例对象 parseMetaElements parseConstructorAr…

平衡二叉树,红黑树,B树和B+树的区别及其应用场景

平衡二叉树 基础数据结构左右平衡高度差大于1会自旋每个节点记录一个数据 平衡二叉树(AVL) AVL树全称G.M. Adelson-Velsky和E.M. Landis,这是两个人的人名。 平衡二叉树也叫平衡二叉搜索树(Self-balancing binary search tree…

通义灵码-ai编码

https://developer.aliyun.com/topic/lingma/activities/202403?taskCode14508&recordIdb1ef3ba27250a5818b1b6ffe418af658#/?utm_contentm_fission_1 「通义灵码 体验 AI 编码,开 AI 盲盒」

使用向量检索和rerank 在RAG数据集上实验评估hit_rate和mrr

文章目录 背景简介代码实现自定义检索器向量检索实验向量检索和rerank 实验 代码开源 背景 在前面部分 大模型生成RAG评估数据集并计算hit_rate 和 mrr 介绍了使用大模型生成RAG评估数据集与评估; 在 上文 使用到了BM25 关键词检索器。接下来,想利用向…

蓝桥杯 十一届C++A组 字符排序 21分(运行超时)

思路: 1. 此题考查的冒泡排序中的交换次数,其实就是考察当前数与后面的逆序对个数问题。而为了最大利用位数,应当使每一位都不小于后面的字符,否则会造成一次逆序对的浪费(贪心,为了使总位数最少&#xff…

springBoot--阿里云短信验证

阿里云短信验证 前言阿里云短信服务免费领取100条短信服务1、开通短信服务2、申请签名3、申请模板4、通过子用户获取账号的AccessKey ID 和AccessKey Secret5、使用教程 前言 在我们平时登录中短信验证吗验证在当今是必不可少的,下面是基于阿里云开发的短信验证操作…

达梦数据库安装与实例创建:图形化方式

达梦数据库安装与实例创建:图形化方式 准备工作数据库安装与卸载安装数据库卸载数据库 实例创建与删除创建实例删除实例 准备工作 查看操作系统信息:Linux内核不能低于2.6。 [rootlocalhost ~]# cat /proc/version Linux version 4.19.90-24.4.v2101.k…

PyTorch|Dataset与DataLoader使用、构建自定义数据集

文章目录 一、Dataset与DataLoader二、自定义Dataset类(一)\_\_init\_\_函数(二)\_\_len\_\_函数(三)\_\_getitem\_\函数(四)全部代码 三、将单个样本组成minibatch(Data…

信息论基础:串联信道

串联信道 大学时候看过一期湖南卫视《快乐大本营》,那时候的主持人是何炅和李湘。节目的一个环节是邀请五名观众上台做猜谜游戏。五人带上耳机,坐在一排椅子上,两两中间隔着挡板,好像并排在一起上厕所。李湘把一部电影的名字写在…

Redis集群三种模式

一、Redis集群的三种模式 Redis有三种模式,分别是主从复制、哨兵模式、cluster 主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障…

国家开放大学电大《钢结构》形考任务答案

电大搜题 多的用不完的题库,支持文字、图片搜题,包含国家开放大学、广东开放大学、超星等等多个平台题库,考试作业必备神器。 公众号 答案:更多答案,请关注【电大搜题】微信公众号 答案:更多答案&#x…

【windows】--- nginx 超详细安装并配置教程

目录 一、下载 nginx二、安装三、查看是否安装成功四、配置五、关闭 nginx六 负载均衡七 配置静态资源1. 根目录下的子目录(root)2.完全匹配(alias) 刷新配置(不必重启nginx)八、后端鉴权 一、下载 nginx 打开 nginx 的官网:nginx.org/ &…

K8S基于containerd做容器从harbor拉取镜

实现创建pod时,通过指定harbor仓库里的镜像来运行pod 检查:K8S是不是用containerd做容器运行时,以及containerd的版本是不是小于1.6.22 kubectl get nodes -owide1、如果containerd小于 1.6.22,需要先升级containerd 先卸载旧的…

力扣Lc28---- 557. 反转字符串中的单词 III(java版)-2024年4月06日

1.题目描述 2.知识点 1)用StringBuilder的方法 实现可变字符串结果 最后返回的时候用.toString的方法 2)在Java中使用StringBuilder的toString()方法时,它会返回StringBuilder对象当前包含的所有字符序列的字符串表示。 在我们的例子中,sb是一个Stri…

初心护蕾 珍视青春

(通讯员:赵灿飞 图:杨美、孙红浪) 为进一步加强未成年人合法权益保护工作,提高未成年人的自我安全防范意识和能力,培养未成年人正确的性观念和自我保护意识,促进健康的人际关系&#xff0c…

Debian安装宝塔教程

宝塔面板是一款非常受欢迎的服务器管理软件,它以其强大的功能、简洁的操作界面和丰富的应用生态而闻名。宝塔面板不仅能够帮助用户轻松管理服务器,还能够提供网站、数据库、FTP、备份等多种服务,是服务器管理的得力助手。 宝塔面板的特色 1.…