7分钟0基础彻底理解常用数据压缩原理---哈夫曼编码

前言

如果你之前没有做过数据压缩,或者想要了解数据压缩的原理,那么这编文章将会帮到你。这编文章将会带你彻底了解哈夫曼编码原理,这种编码方式常用作的图片无损压缩,和ZIP的等压缩存储。

思考,计算机的存储与解析获取

这里有一组数据为1, 3,4,5,6,1,4,3,5. 单位为字节,把他们存起来。那么二进制就是1,11,100,101,110,1,100,11, 101. 但是计算机存储的时候,他们每个数据占8个“格子” ,即为**00000001, 00000011,00000100,00000101,00000110,
00000001,00000100, 00000011,00000101.**真正存储的时候是没有分割区分的,数据都是放在一起的。000000010000001100000100000001010000011000000001000001000000001100000101 。那么是怎么识别获取的数据的呢? 读取的时候,每8个位置作为一个数据读取,如果是int类型,一般都是32位,即每32位作为一个数据。
即为

可见,前缀为00000这部分是无效数据,无疑会浪费了很大一部分空间。这种存储编码被成为定长编码。这是为什么会这样子存储?因为如果不固定长度,计算机就不会知道读的数据是什么。举个例子,1和3放在在一起为111,如果不固定位数,可能识别为3和1(11,1)也可以识别为1和3(1,11),甚至全部读取为一个数字为7(111)

那么有没有一种存储方式可以按需节约来存储呢?答案是

树的知识

我们先回顾下关于树的知识点,方便我们理解下面的内容。

叶子结点

叶子结点是指一个树形结构中,没有任何子结点的节点,也就是说它是树结构的最底层节点

在这里插入图片描述

什么是度?

当前结点的最大的子节点数目。也就是分支的数目。
在这里插入图片描述
如图,A的度为2, B的度为2. 而叶子结点的度为0. 由此可见,二叉树结点的最大的度为2.最小为0.

什么是路径,路径长度

路径: 是指从树中一个节点到另一个节点的分支所构成的路线。
路径长度: 从一个结点到另一个结点所经过的“边”的数量,被我们称为两个结点之间的路径长度。
在这里插入图片描述

例如:A到F的路径长度为2。A到H的路径长度为3

什么是权值

权值就是某个结点存储的数据的值。如下图,H结点存了一个数据是100,那么久叫他的权值为100
在这里插入图片描述

什么是带权路径长度

权路径长度是指根结点到某的结点的路径的长度和该结点的权值相乘的结果。
如上图, 根结点A到H的路径为3, 而H结点的权值为100,那么他的带权路径长度为3*100=300

哈夫曼编码

我们不急着怎么看他的定义,先通过例子去理解。

现在有个一串字母"ACCCCCABDDD",按照下面方式将它进行特殊存储
下面是字符对应二进制表格

字符二进制
A01000001
B01000010
C01000011
D01000100

第一步,将数据进行节约存储。

为了节约数据空间,我们把前面可以理解为多余的部分空间去掉,做个映射表,即为

字符二进制
A1
B10
C11
D100

第二步,统计每一个字符的出现个数

字符出现个数
A1
B2
C5
D3

第三步,按“出现个数”进行排序

字符出现个数
C5
D3
B2
A1

第四步,构建带权值的二叉树

将“出现个数”作为父结点权值(具体规则看下面步骤), 将字符二进制数据作为叶子结点权值,构建二叉树。将权值越大的,距离根节点越近,最大权值带权路径最短,以此例推。(如果忘记的概念,请到上面重复阅读)

(1)首先把最小的两个权值的作为叶子节点 ,出现次数大的在左边, 构建一个二叉树。如下图
在这里插入图片描述

(2)将这个新组成的二叉树他的父节点求权值,将A和B的权值相加,得到 3,如下
在这里插入图片描述

(3)将比A和B最近的数据进行构建新组合二叉树,刚刚好比A和B大的数据是D,将D与A,B的父节点,作为同一层构建二叉树,如下。

在这里插入图片描述

然后继续求顶部根节点的权值,将D的权值与A,B的父节点的权值相加求值。
在这里插入图片描述
依次类推,可以得出整棵树如下

在这里插入图片描述
然后,把除了叶子节点的权值全部改成1.

在这里插入图片描述

最后,叶子节点全部改成0,除B 外,B 改成1

在这里插入图片描述

第五步,制作代号表

把左边节点权值, 我们从顶点触发,把经过的叶子节点带权路径轨迹记录下来。

第一个为: 1 - 0
第二个为: 1 - 1 - 0
第三个为: 1 - 1 - 1 - 0
第四个为: 1 - 1 -1 - 1

由此可以推出

代号字母
10C
110D
1110A
1111B

没错,这时候你已经猜出来,为什么要这么做了。

第六步,存储

有了上面这个表格后,就可以存储和读取了。
字符串为:ACCCCCABDDD
那么按照上面的表格,分布存储为如下
1110 10 10 10 10 10 1110 1111 110 110 110

第七步,读取

我们需要根据这个树,通过轨迹来读取对于的值。
在这里插入图片描述
根节点出发,遇到1右边,遇到0左边
读取这串数据“1110 10 10 10 10 10 1110 1111 110 110 110”,如图
在这里插入图片描述
所以读取第一个值是A,(存储表的的时候是存二进制(1),这里只不过是为了好阅读)
剩下的数据为“ 10 10 10 10 10 1110 1111 110 110 110”,继续解析数据,如图

口诀: 遇到1右边,遇到0左边
在这里插入图片描述
剩下的数据为“10 10 10 1110 1111 110 110 110”,继续解析数据,如图,
口诀: 遇到1右边,遇到0左边

在这里插入图片描述
剩下的数据为“ 10 10 1110 1111 110 110 110”,继续解析数据,如图,
口诀: 遇到1右边,遇到0左边
在这里插入图片描述
剩下的数据为“ 10 1110 1111 110 110 110”,继续解析数据,如图,
口诀: 遇到1右边,遇到0左边
在这里插入图片描述
剩下的数据为“ 1110 1111 110 110 110”,继续解析数据,如图,
口诀: 遇到1右边,遇到0左边
在这里插入图片描述
剩下的数据为“ 1111 110 110 110”,继续解析数据,如图,
口诀: 遇到1右边,遇到0左边
在这里插入图片描述
剩下的数据为“ 110 110 110”,继续解析数据,如图,
口诀: 遇到1右边,遇到0左边
在这里插入图片描述

以此类推下去,全部都能解析出来。

这样的二叉树树,称为哈夫曼树。

下面是哈夫曼树的概念引用

给定N个权值作为N个叶子结点,构造一棵二叉树,若该树的带权路径长度达到最小,称这样的二叉树为最优二叉树,也称为哈夫曼树(Huffman Tree)。哈夫曼树是带权路径长度最短的树,权值较大的结点离根较近。

由此,对比传统的存储二进制,可见节约了多少空间!通过这个规则,你已经知道为什么出现次数最多的要到前面,这样可以大大地提高读取效率。

有兴趣的朋友可以思考下图片的数据是怎么压缩的?欢迎到评论区 下留言哈哈。提示:一张图片可能有颜色值大量重复,比如一区域只有蓝色,其他全是红色的图片。

如果这篇文章有帮助到你,请点赞,评论,关注,收藏。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/407524.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

消息中间件篇之RabbitMQ-延时队列

一、延时队列 延迟队列:进入队列的消息会被延迟消费的队列。 场景:超时订单、限时优惠、定时发布。 延迟队列死信交换机TTL(生存时间)。 二、死信交换机 当一个队列中的消息满足下列情况之一时,可以成为死信&#xf…

LVS的工作模式及其原理

1、LVS 介绍 (1)LVS 是Linux Virtual Server的简称,也就是 Linux 虚拟服务器, 是一个由章文嵩博士发起的自由软件项目,它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分,因此性能较高…

注册中心 Service Discovery --- Intro

注册中心 Service Discovery --- Intro 为什么需要注册中心注册中心的原理常用的注册中心注册中心的高可用 为什么需要注册中心 在微服务架构中,系统被拆分成了若干个独立的服务,因此服务之间需要进行通信和协作。为了实现服务的发现和调用,需…

一周学会Django5 Python Web开发-Django5二进制文件下载响应

锋哥原创的Python Web开发 Django5视频教程: 2024版 Django5 Python web开发 视频教程(无废话版) 玩命更新中~_哔哩哔哩_bilibili2024版 Django5 Python web开发 视频教程(无废话版) 玩命更新中~共计25条视频,包括:2024版 Django5 Python we…

CrossOver 24.0.0 for mac 震撼发布 2024最新下载安装详细图文教程

2024年2 月 23 日消息,CodeWeavers 近日发布了 CrossOver 24 版本更新,基于近期发布的 Wine 9.0,不仅兼容更多应用和游戏,还初步支持运行 32 位应用程序。 苹果在 macOS Catalina 系统中移除对 32 位软件的支持之后,在…

08 Redis之集群的搭建和复制原理+哨兵机制+CAP定理+Raft算法

5 Redis 集群 2.8版本之前, Redis采用主从集群模式. 实现了数据备份和读写分离 2.8版本之后, Redis采用Sentinel哨兵集群模式 , 实现了集群的高可用 5.1 主从集群搭建 首先, 基本所有系统 , “读” 的压力都大于 “写” 的压力 Redis 的主从集群是一个“一主多从”的读写分…

K线实战分析系列之三:吞没形态

K线实战分析系列之三:吞没形态 一、吞没形态二、看涨吞没形态三、看跌吞没形态四、吞没形态判别标准 一、吞没形态 两根或两根以上的K线形成的组合形态,吞没形态就是一种主要的反转形态。 这个形态由两根K线组成,前短后长,一阴一…

Python爬虫-存储到csv乱码-使用utf-8-sig编码

代码 import requests import csvdef get_data():url https://careers.tencent.com/tencentcareer/api/post/Query?timestamp1708743664770&countryId&cityId&bgIds&productId&categoryId&parentCategoryId&attrId&keywordpython&pageIn…

保姆级教程!安利一款Kali Linux 安装 + 获取 root 权限 + 远程访问!

一、什么是Kali kali是linux其中一个发行版,基于Debian,前身是BackTrack(简称BT系统)。kali系统内置大量渗透测试软件,可以说是巨大的渗透系统,涵盖了多个领域,如无线网络、数字取证、服务器、…

构建未来新零售平台的设计与实现的总结

随着科技的飞速发展和消费者需求的不断变化,新零售已经成为零售行业的新趋势。在这个数字化时代,构建一个高效、智能、一体化的新零售平台架构至关重要。本文将探讨如何设计和实现一个具备创新性和竞争力的新零售平台。 引言: 新零售是指利用…

十一、Qt数据库操作

一、Sql介绍 Qt Sql模块包含多个类,实现数据库的连接,Sql语句的执行,数据获取与界面显示,数据与界面直接使用Model/View结构。1、使用Sql模块 (1)工程加入 QT sql(2)添加头文件 …

面试redis篇-05双写一致

原理 双写一致性:当修改了数据库的数据也要同时更新缓存的数据,缓存和数据库的数据要保持一致 读操作:缓存命中,直接返回;缓存未命中查询数据库,写入缓存,设定超时时间写操作:延迟双删方案一:分布式锁,一致性要求高

C语言之mkdtemp()特定占位符:XXXXXX 用法实例(八十五)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏:多媒…

2.deeplabv3+的主干网络(mobilenet网络)

deeplabv3的论文中用了resnet网络,在这里用轻量级网络mobilenet替换resnet,下面分别是两个网络的代码。 1.mobilenet网络 代码如下: import math import os import cv2 import numpy as np import torch import torch.nn as nn import tor…

STM32_DS18B20_1_芯片简介及初始化配置

DS18B20介绍 DS18B20数字温度计提供9位到12位摄氏度的温度测量,并具有非易失性,用户可编程的上下触发点的报警功能。DS18B20通过1线总线进行通信,根据定义,该总线只需要一条数据线,即可与中央微处理器进行通信…

NestJS入门7:增加异常过滤器

前文参考: NestJS入门1 NestJS入门2:创建模块 NestJS入门3:不同请求方式前后端写法 NestJS入门4:MySQL typeorm 增删改查 NestJS入门5:加入Swagger NestJS入门6:日志中间件 本文代码基于上一篇文章《…

Flink join详解(含两类API及coGroup、connect详解)

Flink SQL支持对动态表进行复杂而灵活的连接操作。 为了处理不同的场景,需要多种查询语义,因此有几种不同类型的 Join。 默认情况下,joins 的顺序是没有优化的。表的 join 顺序是在 FROM 从句指定的。可以通过把更新频率最低的表放在第一个、…

Redis可视化工具——RedisInsight

文章目录 1. 下载2. 安装3. RedisInsight 添加 Redis 数据库4. RedisInsight 使用 RedisInsight 是 Redis 官方出品的可视化管理工具,支持 String、Hash、Set、List、JSON 等多种数据类型的管理,同时集成了 RedisCli,可进行终端交互。 1. 下载…

【数据结构和算法初阶(C语言)】时间复杂度(衡量算法快慢的高端玩家,搭配例题详细剖析)

目录 1.算法效率 1.1如何衡量一个算法的好坏 1.2 算法的复杂度 2.主菜-时间复杂度 2.1 时间复杂度的概念 2.2 大O的渐进表示法 2.2.1算法的最好,最坏和平均的情况 3.经典时间复杂度计算举例 3.1计算冒泡排序的时间复杂度 3.2计算折半查找的时间复杂度 3.…

思维导图教你如何学会计算机组成原理

02 给你一张知识地图,计算机组成原理应该这么学 了解了现代计算机的基本硬件组成和背后最基本的冯诺依曼体系结构,我们就可以正式进入计算机组成原理的学习了。在学习一个一个零散的知识点之前,我整理了一份学习地图,好让你对将要…