Hive文件存储与压缩

压缩和存储

1、 Hadoop压缩配置

1) MR支持的压缩编码
压缩格式工具算法文件扩展名是否可切分
DEFAULT无DEFAULT.deflate否
GzipgzipDEFAULT.gz否
bzip2bzip2bzip2.bz2是
LZOlzopLZO.lzo否
LZ4无LZ4.lz4否
Snappy无Snappy.snappy否

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示

压缩格式对应的编码/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
gziporg.apache.hadoop.io.compress.GzipCodec
bzip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compression.lzo.LzopCodec
LZ4org.apache.hadoop.io.compress.Lz4Codec
Snappyorg.apache.hadoop.io.compress.SnappyCodec
2) 压缩配置参数

要在Hadoop中启用压缩，可以配置如下参数（mapred-site.xml文件中）：

参数默认值阶段建议
io.compression.codecs （在core-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.Lz4Codec输入压缩Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compressfalsemapper输出这个参数设为true启用压缩
mapreduce.map.output.compress.codecorg.apache.hadoop.io.compress.DefaultCodecmapper输出使用LZO、LZ4或snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compressfalsereducer输出这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codecorg.apache.hadoop.io.compress. DefaultCodecreducer输出使用标准工具或者编解码器，如gzip和bzip2
mapreduce.output.fileoutputformat.compress.typeRECORDreducer输出SequenceFile输出使用的压缩类型：NONE和BLOCK
3) 开启Map输出阶段压缩

​ 开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下：

​ 案例实操：

--1）开启hive中间传输数据压缩功能
	hive (default)>set hive.exec.compress.intermediate=true;
--2）开启mapreduce中map输出压缩功能
	hive (default)>set mapreduce.map.output.compress=true;
--3）设置mapreduce中map输出数据的压缩方式
	hive (default)>set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

--4）执行查询语句
hive (default)> select count(*) from aaaa;
4) 开启Reduce输出阶段压缩

​ 当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.compress.output控制着这个功能。用户可能需要保持默认设置文件中的默认值false，这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询语句或执行脚本中设置这个值为true，来开启输出结果压缩功能。

案例实操：

--1）开启hive最终输出数据压缩功能
	hive (default)>set hive.exec.compress.output=true;
--2）开启mapreduce最终输出数据压缩
	hive (default)>set mapreduce.output.fileoutputformat.compress=true;
--3）设置mapreduce最终数据输出压缩方式
	hive (default)> set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
--4）设置mapreduce最终数据输出压缩为块压缩
	hive (default)> set mapreduce.output.fileoutputformat.compress.type=BLOCK;
--5）测试一下输出结果是否是压缩文件
	hive (default)> insert overwrite local directory '/root/data' select * from aaaa;

2、文件存储格式

​ Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。

1) 列式存储和行式存储

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。

行存储的特点： 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。

列存储的特点： 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。

TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的；

ORC和PARQUET是基于列式存储的。

2) TEXTFILE格式

默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。

3) ORC格式

​ Orc (Optimized Row Columnar)是hive 0.11版里引入的新的存储格式。

​ 可以看到每个Orc文件由1个或多个stripe组成，每个stripe250MB大小，这个Stripe实际相当于RowGroup概念，不过大小由4MB->250MB，这样应该能提升顺序读的吞吐率。每个Stripe里有三部分组成，分别是Index Data,Row Data,Stripe Footer：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

	1）Index Data：一个轻量级的index，默认是每隔1W行做一个索引。这里做的索引应该只是记录某行的各字段在Row Data中的offset。

	2）Row Data：存的是具体的数据，先取部分行，然后对这些行按列进行存储。对每个列进行了编码，分成多个Stream来存储。

​ 3）Stripe Footer：存的是各个Stream的类型，长度等信息。

​ 每个文件有一个File Footer，这里面存的是每个Stripe的行数，每个Column的数据类型信息等；每个文件的尾部是一个PostScript，这里面记录了整个文件的压缩类型以及FileFooter的长度信息等。在读取文件时，会seek到文件尾部读PostScript，从里面解析到File Footer长度，再读FileFooter，从里面解析到各个Stripe信息，再读各个Stripe，即从后往前读。

4) PARQUET格式

​ Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目。

​ Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。

​ 通常情况下，在存储Parquet数据的时候会按照Block大小设置行组的大小，由于一般情况下每一个Mapper任务处理数据的最小单位是一个Block，这样可以把每一个行组由一个Mapper任务处理，增大任务执行并行度。Parquet文件的格式如下图所示。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

​ 上图展示了一个Parquet文件的内容，一个文件中可以存储多个行组，文件的首位都是该文件的Magic Code，用于校验它是否是一个Parquet文件，Footer length记录了文件元数据的大小，通过该值和文件长度可以计算出元数据的偏移量，文件的元数据中包括每一个行组的元数据信息和该文件存储数据的Schema信息。除了文件中每一个行组的元数据，每一页的开始都会存储该页的元数据，在Parquet中，有三种类型的页：数据页、字典页和索引页。数据页用于存储当前行组中该列的值，字典页存储该列值的编码字典，每一个列块中最多包含一个字典页，索引页用来存储当前行组下该列的索引，目前Parquet中还不支持索引页。

5) 主流文件存储格式对比实验

​ 从存储文件的压缩比和查询速度两个角度对比。

​ 存储文件的压缩比测试：

--1）TextFile
--（1）创建表，存储数据格式为TEXTFILE
	create table log_text (track_time string,url string,session_id string,referer string,ip string,end_user_id string,city_id string)row format delimited fields terminated by '\t'stored as textfile ;
--（2）向表中加载数据
	hive (default)> load data local inpath '/root/log' into table log_text ;
--（3）查看表中数据大小
	dfs -du -h /user/hive/warehouse/log_text;
	18.1 M  /user/hive/warehouse/log_text/log.data
--2）ORC
--（1）创建表，存储数据格式为ORC
	create table log_orc(track_time string,url string,session_id string,referer string,ip string,end_user_id string,city_id string)row format delimited fields terminated by '\t'stored as orc ;
--（2）向表中加载数据
	insert into table log_orc select * from log_text ;
--（3）查看表中数据大小
	dfs -du -h /user/hive/warehouse/log_orc/ ;
	2.8 M  /user/hive/warehouse/log_orc/000000_0
--3）Parquet
--（1）创建表，存储数据格式为parquet
	create table log_parquet(track_time string,url string,session_id string,referer string,ip string,end_user_id string,city_id string)row format delimited fields terminated by '\t'stored as parquet ;	
--（2）向表中加载数据
	insert into table log_parquet select * from log_text ;
--（3）查看表中数据大小
	dfs -du -h /user/hive/warehouse/log_parquet/ ;
	13.1 M  /user/hive/warehouse/log_parquet/000000_0
--存储文件的压缩比总结：
	ORC >  Parquet >  textFile

3、存储和压缩结合

​ 官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC

​ ORC存储方式的压缩：

KeyDefaultNotes
orc.compressZLIBhigh level compression (one of NONE, ZLIB, SNAPPY)
orc.compress.size262,144number of bytes in each compression chunk
orc.stripe.size67,108,864number of bytes in each stripe
orc.row.index.stride10,000number of rows between index entries (must be >= 1000)
orc.create.indextruewhether to create row indexes
orc.bloom.filter.columns“”comma separated list of column names for which bloom filter should be created
orc.bloom.filter.fpp0.05false positive probability for bloom filter (must >0.0 and <1.0)
--1）创建一个非压缩的的ORC存储方式
--（1）建表语句
	create table log_orc_none(track_time string,url string,session_id string,referer string,ip string,end_user_id string,city_id string)row format delimited fields terminated by '\t'stored as orc tblproperties ("orc.compress"="NONE");
--（2）插入数据
	insert into table log_orc_none select * from log_text ;
--（3）查看插入后数据
	dfs -du -h /user/hive/warehouse/log_orc_none/ ;
	7.7 M  /user/hive/warehouse/log_orc_none/000000_0
--2）创建一个SNAPPY压缩的ORC存储方式
--（1）建表语句
	create table log_orc_snappy(track_time string,url string,session_id string,referer string,ip string,end_user_id string,city_id string)row format delimited fields terminated by '\t'stored as orc tblproperties ("orc.compress"="SNAPPY");
--（2）插入数据
	insert into table log_orc_snappy select * from log_text ;
--（3）查看插入后数据
	dfs -du -h /user/hive/warehouse/log_orc_snappy/ ;
	3.8 M  /user/hive/warehouse/log_orc_snappy/000000_0
--3）上一节中默认创建的ORC存储方式，导入数据后的大小为
	2.8 M  /user/hive/warehouse/log_orc/000000_0
--总结
	比Snappy压缩的还小。原因是orc存储文件默认采用ZLIB压缩。比snappy压缩的小。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/263799.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

数据结构 | 查漏补缺

数据结构 | 查漏补缺

目录 数据的基本单位 冒泡排序 DFS和BFS中文 Prim 比较 中序线索二叉树 顺序栈 链栈 时间复杂度 循环队列 求第K个结点的值 数据的基本单位 数据元素 循环队列sq中&#xff0c;用数组elem[0‥25]存放数据元素&#xff0c;设当前sq->front为20&#xff0c;sq-&g…
阅读更多...
【C++11特性篇】模板的新一力将：可变参数模板 [全解析]

【C++11特性篇】模板的新一力将：可变参数模板 [全解析]

前言 大家好吖&#xff0c;欢迎来到 YY 滴C系列 &#xff0c;热烈欢迎&#xff01; 本章主要内容面向接触过C的老铁 主要内容含&#xff1a; 欢迎订阅 YY滴C专栏&#xff01;更多干货持续更新&#xff01;以下是传送门&#xff01; YY的《C》专栏YY的《C11》专栏YY的《Linux》专…
阅读更多...
循环神经网络中的梯度消失或梯度爆炸问题产生原因分析（二）

循环神经网络中的梯度消失或梯度爆炸问题产生原因分析（二）

上一篇中讨论了一般性的原则&#xff0c;这里我们具体讨论通过时间反向传播&#xff08;backpropagation through time&#xff0c;BPTT&#xff09;的细节。我们将展示目标函数对于所有模型参数的梯度计算方法。 出于简单的目的&#xff0c;我们以一个没有偏置参数的循环神经…
阅读更多...
华为鸿蒙开发应用工程师：连接未来，创造无限可能

华为鸿蒙开发应用工程师：连接未来，创造无限可能

1. 引言 随着智能设备的不断普及和发展&#xff0c;华为鸿蒙作为下一代全场景分布式操作系统&#xff0c;为开发者提供了全新的应用开发平台。作为一名鸿蒙开发应用工程师&#xff0c;您将扮演连接未来的重要角色&#xff0c;为智能生活创造无限可能。 2. 深度参与全场景应用…
阅读更多...
modbus异常错误码说明

modbus异常错误码说明

异常错误码说明 其中物理离散量输入和输入寄存器只能有I/O系统提供的数据类型&#xff0c;即只能是由I/O系统改变离散量输入和输入寄存器的数值&#xff0c;而上位机程序不能改变的数据类型&#xff0c;在数据读写上表现为只读&#xff0c;而内部比特或者物理线圈和内部寄存器或…
阅读更多...
Profinet转485modbus网关解决传输距离及数据丢失问题

Profinet转485modbus网关解决传输距离及数据丢失问题

Profinet转485modbus网关&#xff08;XD-MDPN100/2000&#xff09;是一款能够解决传输距离及数据丢失问题的设备。在现场应用中&#xff0c;数据的传输距离和数据丢失最为常见的问题。 在现场添加Profinet转485modbus网关&#xff08;XD-MDPN100/2000&#xff09;即可解决传输距…
阅读更多...
BDD - Python Behave 入门

BDD - Python Behave 入门

BDD - Python Behave 入门 Behave 是什么Behave 的主要特点和组成部分Behave 实践安装 BehaveBehave 项目目录结构创建项目创建 Feature 文件创建步骤定义文件 执行用例执行全部用例执行部分用例 生成报告生成 Json report生成 HTML 报告生成 Junit report生成 Cucumber report…
阅读更多...
Modbus-TCP数据帧

Modbus-TCP数据帧

Modbus-TCP基于4种报文类型 MODBUS 请求是客户机在网络上发送用来启动事务处理的报文MODBUS 指示是服务端接收的请求报文MODBUS 响应是服务器发送的响应信息MODBUS 证实是在客户端接收的响应信息 Modbus-TCP报文: 报文头MBAP MBAP为报文头&#xff0c;长度为7字节&#xff0c…
阅读更多...
postman和Jmeter的区别

postman和Jmeter的区别

&#x1f4e2;专注于分享软件测试干货内容&#xff0c;欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1f4dd; 如有错误敬请指正&#xff01;&#x1f4e2;交流讨论&#xff1a;欢迎加入我们一起学习&#xff01;&#x1f4e2;资源分享&#xff1a;耗时200小时精选的「软件测试」资…
阅读更多...
非隔离恒压ACDC稳压智能电源模块芯片推荐：SM7015

非隔离恒压ACDC稳压智能电源模块芯片推荐：SM7015

非隔离恒压ACDC稳压智能电源模块芯片是一种用于将交流&#xff08;AC&#xff09;电源转换为直流&#xff08;DC&#xff09;电源的集成电路。这种芯片具有恒压输出功能&#xff0c;能够保持输出电压的稳定&#xff0c;适用于各种需要直流电源的应用场景。 非隔离电源模块通常…
阅读更多...
【华为数据之道学习笔记】6-5数据地图的核心价值

【华为数据之道学习笔记】6-5数据地图的核心价值

数据供应者与消费者之间往往存在一种矛盾&#xff1a;供应者做了大量的数据治理工作、提供了大量的数据&#xff0c;但数据消费者却仍然不满意&#xff0c;他们始终认为在使用数据之前存在两个重大困难。 1&#xff09;找数难 企业的数据分散存储在上千个数据库、上百万张物理表…
阅读更多...
2024年，消费品零售企业如何规划大模型和数据技术落地？

2024年，消费品零售企业如何规划大模型和数据技术落地？

导读&#xff1a;品牌商和零售商目前都在做2024年的规划&#xff0c;本次分享基于爱分析过往的研究&#xff0c;带来消费品零售行业2024年宏观趋势和方向&#xff0c;以及如何落地大模型和数据技术。 分享嘉宾&#xff5c;张扬 爱分析联合创始人兼首席分析师 内容来源于爱分析…
阅读更多...
【算法刷题】Day22

【算法刷题】Day22

文章目录 1. 按摩师题干&#xff1a;算法原理&#xff1a;&#xff08;dp&#xff09;1. 状态表示&#xff1a;2. 状态转移方程3. 初始化4. 填表顺序5. 返回值 代码&#xff1a; 2. 寻找数组的中心下标题干&#xff1a;算法原理&#xff1a;&#xff08;前缀和&#xff09;代码…
阅读更多...
大数据处理与分析

大数据处理与分析

掌握分布式并行编程框架MapReduce掌握基于内存的分布式计算框架Spark理解MapReduce的工作流程、Spark运行原理熟悉机器学习概念 一.MapReduce Hadoop MapReduce是一个软件框架&#xff0c;基于该框架能够容易地编写应用程序&#xff0c;这些应用程序能够运行在由上千个商用机器…
阅读更多...
亚马逊品牌分析ABA功能有哪些？亚马逊选品的量化标准有哪些？——站斧浏览器

亚马逊品牌分析ABA功能有哪些？亚马逊选品的量化标准有哪些？——站斧浏览器

亚马逊品牌分析ABA功能有哪些&#xff1f; 1、品牌市场份额&#xff08;Share of Voice&#xff09; ABA提供了品牌在特定类别中市场份额的详细数据。这一模块帮助品牌所有者准确评估其品牌在整个市场中的竞争地位和表现。通过了解市场份额&#xff0c;品牌方可以制定更具针对…
阅读更多...
2024年金三银四必备面试题之自动化测试面试题及答案大全

2024年金三银四必备面试题之自动化测试面试题及答案大全

1.你如何用Selenium测试&#xff1f; SeleniumMavenTestNGJekins 2.如何解决问题&#xff1f; 先思考&#xff0c;然后百度&#xff0c;考虑网速、电脑配置等原因&#xff0c;这题主要看重解决问题的能力和思维。 3.你是怎么开发测试框架的&#xff1f; SeleniumMavenTestNGJ…
阅读更多...
【接口测试】如何定位BUG的产生原因

【接口测试】如何定位BUG的产生原因

我们从在日常功能测试过程中对UI的每一次操作说白了就是对一个或者多个接口的一次调用&#xff0c;接口的返回的内容(移动端一般为json)经过前端代码的处理最终展示在页面上。http接口是离我们最近的一层接口&#xff0c;web端和移动端所展示的数据就来自于这层&#xff0c;那么…
阅读更多...
ARM作业1

ARM作业1

汇编实现三个灯闪烁 汇编代码&#xff1a; .text .global _start _start: 设置GPIOE,GPIOF时钟使能LDR R0,0X50000A28 LDR R1,[R0] ORR R1,R1,#(0x3<<4) STR R1,[R0] 设置PE10,PF10,PE8为输出 LED1LDR R0,0X50006000LDR R1,[R0]ORR R1,R1,#(0X1<<20)BIC R1…
阅读更多...
二值图像的游程编码

二值图像的游程编码

二值图像的游程编码是一种用于图像压缩和数据传输的有效方法&#xff0c;它能够显著减小图像文件的大小&#xff0c;同时保留图像的重要信息。本文将介绍二值图像的游程编码的原理、优势以及在实际应用中的作用。 一、什么是二值图像的游程编码&#xff1f; 二值图像是由黑白…
阅读更多...
位运算：Leetcode137.只出现一次的数字(2)

位运算：Leetcode137.只出现一次的数字(2)

题目描述&#xff1a; 给你一个整数数组 nums &#xff0c;除某个元素仅出现 一次 外&#xff0c;其余每个元素都恰出现 三次 。请你找出并返回那个只出现了一次的元素。 示例 1&#xff1a; 输入&#xff1a;nums [2,2,3,2] 输出&#xff1a;3示例 2&#xff1a; 输入&…
阅读更多...
最新文章

Copyright @ 2022~2023