Hadoop优化

1.Datanode管理多块数据盘

1.理解

其实就是扩展Datanode空间,之前一个盘,现在加一个盘或者多个盘,

2.优点:

  • 1.提高容错(避免硬盘损坏全部数据丢失)
  • 2.实现数据分离模式存储(框架本体与数据分离,集群出现问题数据可进行单独恢复,这样也是提高容错)

3.配置(临时挂载,晚点查永久挂载)

1.磁盘配置

  1. lsblk 查看磁盘数据
  2. sudo fdisk /dev/sdb 建立分区
  3. sudo mkfs.ext4 /dev/sdb1 格式化
  4. 挂载
  • sudo mkdir -p /data/disk1
  • sudo mount /dev/sdb1 /data/disk1
  • lsblk
    在这里插入图片描述
    类似这样就是挂载成功
  1. sudo chown -R atguigu:atguigu /data/disk1 修改权限

2. 将磁盘路径写入配置文件

注意,这个是不能分发的,独属于这个datanode的

dfs.datanode.data.dir
file://${hadoop.tmp.dir}/dfs/data,file:///data/disk1

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.磁盘的数据均衡(根据空间百分比进行分配)

1.生成均衡计划

$ hdfs diskbalancer -plan hadoop102 --thresholdPercentage 1 –v

在这里插入图片描述

磁盘的数据均衡
这些的思路都是重点

HDFS—集群扩容及缩容
数据的分治管理
加个服务器然后配成DN

修改主机名 用户名
安装HADOOP

为什么会死?
为什么DN里面能显示
datanode上的version中有datanodeuuid
新扩容的删掉DataNode

为什么不用在workers注册就识别是DN

缩容
数据迁移 NN自己迁移
白名单: 表示在白名单的主机IP地址可以,用来存储数据。
黑名单
当服务器要退休时,在黑名单中添加,但是,不能删除白名单,因为要完成数据迁移,如果删除了,数据就丢失了.

每个数据块来一个副本,满足最低保证,就能退出安全模式了
其实安全模式就是为了避免数据混乱.
可以手动打开安全模式

等待安全模式,只要有一个DN离开,就关
什么时候需要主动进入安全模式?
出现问题,维护

等待什么时候用?
定时上传,或者维护结束
脚本执行
直接在wait第二行直接写代码就行

为什么hadoop.tmp.dir是这么写的?

压缩
原则: 运算密集少用压缩,IO密集多用压缩

只要有IO操作的地方都可以使用压缩

在这里插入图片描述
数据量小于块大小,不用切
为什么mapper为什么不考虑压缩率,因为他不需要永久落盘
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/54580.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

[PyTorch][chapter 45][RNN_2]

目录: RNN 问题 RNN 时序链问题 RNN 词组预测的例子 RNN简洁实现 一 RNN 问题 RNN 主要有两个问题,梯度弥散和梯度爆炸 1.1 损失函数 梯度 其中: 则 1.1 梯度爆炸(Gradient Exploding) 上面矩阵进行连乘后…

uniapp使用getStorage对属性赋值无效

1正常set(get)storage都是可以正常使用的 2.但对属性进行赋值的时候,却发现this.name并没有发生变化 3. 在里面打印this发现,在set*getStorage中并不能拿到this. 4.优化代码 这样就可以给this.name成功赋值

重学C++系列之STL库

一、什么是STL库 STL是“Standard Template Library”的缩写,中文翻译为“标准模板库”。CSTL是一套功能强大的C模板类,提供了通用的模板类和函数,这些模板类和函数可以实现多种流行和常用的算法和数据结构,如字符串操作、链表、队…

如何为新一代可持续应用设计电机编码器

从定速电机转向提供位置和电流反馈的变速电机,不仅可以实现工艺改进,还能节省大量能源。本文介绍了电机编码器(位置和速度)、器件类型和技术以及应用案例。此外还解答了一些关键问题,例如对特定系统最重要的编码器性能…

Prometheus 的应用服务发现及黑河部署等

目录 promtool检查语法 部署Prometheus Server 检查语法是否规范 部署node-exporter 部署Consul 直接请求API进行服务注册 使用register命令注册服务(建议使用) 单个和多个注册,多个后面多加了s 在Prometheus上做consul的服务发现 部署…

ChatGPT漫谈(三)

AIGC(AI Generated Content)指的是使用人工智能技术生成的内容,包括文字、图像、视频等多种形式。通过机器学习、深度学习等技术,AI系统可以学习和模仿人类的创作风格和思维模式,自动生成大量高质量的内容。AIGC被视为继用户生成内容(UGC)和专业生成内容(PGC)之后的下…

【无标题】JSP--Java的服务器页面

jsp是什么? jsp的全称是Java server pages,翻译过来就是java的服务器页面。 jsp有什么作用? jsp的主要作用是代替Servlet程序回传html页面的数据,因为Servlet程序回传html页面数据是一件非常繁琐的事情,开发成本和维护成本都非常高…

StarRocks Friends 广州站精彩回顾

上周六,StarRocks & Friends 活动在羊城广州成功举行,社区的小伙伴齐聚一堂,共同探讨了 StarRocks 在业界的应用实践和湖仓一体等热门话题。 本文总结了技术交流活动的关键内容和视频资料,感谢社区每一位小伙伴的支持和参与&…

《TCP IP网络编程》第十四章

第 14 章 多播与广播 14.1 多播 多播(Multicast)方式的数据传输是基于 UDP 完成的。因此 ,与 UDP 服务器端/客户端的实现方式非常接近。区别在于,UDP 数据传输以单一目标进行,而多播数据同时传递到加入(注…

【Uniapp 的APP热更新】

Uniapp 的APP热更新功能依赖于其打包工具 HBuilder,具体步骤如下: 1. 在 HBuilder 中构建并打包出应用程序 具体步骤: 1.点击发行,点击制作wgt包 2.根据需求修改文件储存路径和其他配置,点击确定 3.等待打包完成&a…

Day10-作业(SpringBootWeb案例)

作业1:完成课上预留给大家自己完成的功能 【部门管理的修改功能】 注意: 部门管理的修改功能,需要开发两个接口: 先开发根据ID查询部门信息的接口,该接口用户查询数据并展示 。(一定一定先做这个功能) 再开发根据ID…

iOS开发-格式化时间显示刚刚几分钟前几小时前等

iOS开发-格式化时间显示刚刚几分钟前几小时前等 在开发中经常遇到从服务端获取的时间戳,需要转换显示刚刚、几分钟前、几小时前、几天前、年月日等格式。 主要用到了NSCalendar、NSDateComponents这两个类 NSString *result nil;NSCalendarUnit components (NSC…

MTK system_server 卡死导致手机重启案例分析

和你一起终身学习,这里是程序员Android 经典好文推荐,通过阅读本文,您将收获以下知识点: 一、MTK AEE Log分析工具二、AEE Log分析流程三、system_server 卡死案例分析及解决 本文主要针对 Exception Type: system_server_watchdog , system_…

数据结构-链表结构-双向链表

双向链表 双向链表的定义 双向链表也叫双链表,与单向链表不同的是,每一个节点有三个区域组成:两个指针域,一个数据域 前一个指针域:存储前驱节点的内存地址后一个指针域:存储后继节点的内存地址数据域&a…

Beyond Compare和git merge、git rebase

文章目录 各个分支线将dev1 rebase进 dev2将dev1 merge进dev2 各个分支线 将dev1 rebase进 dev2 gitTest (dev2)]$ git rebase dev1local: 是rebase的分支dev1remote:是当前的分支dev2base:两个分支的最近一个父节点 将dev1 merge进dev2 gitTest (dev…

Qt应用开发(基础篇)——滑块类 Slider、ScrollBar、Dial

一、前言 滑块类QScrollBar、QSlider和QDial继承于QAbstractSlider,父类主要拥有最大值、最小值、步长、当前值、滑块坐标等信息,滑动的时候触发包含值数据变化、滑块按下、滑块释放等信号。键盘包括左/上和右/下箭头键通过定义的singleStep改变当前值&a…

物联网|可变参数的使用技巧|不一样的点灯实验|访问外设的寄存器|操作寄存器实现点灯|硬件编程的基本流程-学习笔记(11)

文章目录 可变参数的使用技巧第三阶段-初级实验Lesson5:不一样的点灯实验---学习I/O的输出 ☆点灯的电路图分析1 一起看看点灯的电路图Tip1:另一种点灯的电路Tip1:如何访问外设的寄存器2 STM32F407中操作GPIO的方法 通过直接操作寄存器实现点灯实验Tip1:硬件编程的基本流程 2代…

SpringBoot(九)jwt + 拦截器实现token验证

前面两篇文章的过滤器和拦截器,我们都提到过可以做诸如权限验证的事情。http/https是无状态的协议,当用户访问一个后端接口时,如何判断该用户有没有权限?当然,可以使用账号密码去验证。但是,如果使用账号和…

统信UOS安装mysql数据库(mariadb)-统信UOS安装JDK-统信UOS安装nginx(附安装包)

统信UOS离线全套安装教程(手把手教程) 银河麒麟的各种离线全套安装教程: https://blog.csdn.net/ACCPluzhiqi/article/details/131988147 1.统信UOS桌面系统安装mysql(mariadb) 2.统信UOS桌面系统安装JDK 3.统信UOS桌…

网络出口技术中的单一出口网络结构,你会用吗?

我们在设计一个园区网络的时候,园区网络的出口需要和运营商的网络进行对接,从而提供internet服务。 在和运营商网络对接的时候,一般采用如下3终方式: 单一出口网络结构 1、网络拓扑 终端用户接入到交换机,交换机直…