Clickhouse学习笔记（3）—— Clickhouse表引擎

前言：

有关Clickhouse的前置知识详见：

1.ClickHouse的安装启动_clickhouse后台启动_THE WHY的博客-CSDN博客

2.ClickHouse目录结构_clickhouse 目录结构-CSDN博客

Cickhouse创建表时必须指定表引擎

表引擎（即表的类型）决定了：

  • 数据的存储方式和位置，写到哪里以及从哪里读取数据

数据一般存储在本地，默认路径是/var/lib/clickhouse/

除此之外也可以集成一些外部的数据库，如Hive，MySQL等

  • 支持哪些查询以及如何支持

数组在mergetree引擎中无法使用

  • 并发数据访问
  • 索引的使用（如果存在）
  • 是否可以执行多线程请求
  • 数据复制参数

TinyLog

以列文件的形式保存在磁盘上，不支持索引，没有并发控制。一般保存少量数据的小表，生产环境上作用有限。可以用于平时练习测试用

Memory

内存引擎，数据以未压缩的原始形式直接保存在内存当中，服务器重启数据就会消失。读写操作不会相互阻塞，不支持索引。简单查询下有非常非常高的性能表现（超过 10G/s）。

一般用到它的地方不多，除了用来测试，就是在需要非常高的性能，同时数据量又不太大（上限大概 1 亿行）的场景

MergeTree*（合并树）

MergeTree支持索引和分区

建表语句如下：

create table t_order_mt(id UInt32,　sku_id String,　total_amount Decimal(16,2),　create_time Datetime)engine = MergeTree　partition by toYYYYMMDD(create_time)　primary key(id)　order by (id,sku_id);

需要注意的是，clickhouse中主键会自动创建索引，但并不唯一；

而且order by设置的排序是在分区内排序

插入数据 

insert into t_order_mt values \
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,\
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),\
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),\
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',600.00,'2020-06-02 12:00:00');

进行查询：

可以看到通过命令行查询出的数据可以明显观察到分区

语法知识

MergeTree | ClickHouse Docs

可以看到，primary key 和 partition by字段都不是必须的，但order by字段是必须的

分区合并

分区的目的主要是降低扫描的范围，优化查询速度

在hive中，分区是通过HDFS中分目录实现的；clickhouse中也是通过分目录实现的，只不过是在本地磁盘

MergeTree 是以列文件+索引文件+表定义文件组成的，但是如果设定了分区那么这些文件就会保存到不同的分区目录中

具体操作

向表中插入数据：

在本地按分区存储数据：

再次插入数据：

可以看到数据并没有纳入任何分区，这是因为任何一个批次的数据写入都会产生一个临时分区，不会纳入任何一个已有的分区；写入后的某个时刻（大概 10-15 分钟后），ClickHouse 会自动执行合并操作

也可以手动通过 optimize 执行，把临时分区的数据，合并到已有分区中：

optimize table xxxx final

详细语法见：OPTIMIZE Statement | ClickHouse Docs

查看数据文件可以看到合并后的分区数据：

可以看到最小分区块编号、最大分区块编号和合并层级都发生了变化

需要注意：手动执行分区合并后会生成新的数据文件，但过期数据不会立即删除

等到自动合并操作执行后，过期数据就会被删除了；因此过一段时间再去查看：

除此之外，optimize还可以指定要合并的分区：

optimize table xxxx PARTITION partition final;

示例：

插入一些数据，目前的分区如下：

接下来只合并分区id为20200601的数据：

optimize table t_order_mt partition '20200601' final;

合并结果如下：

primary key

MergeTree | ClickHouse Docs

  • 只提供了数据的一级索引，但是却不是唯一约束
  • 主键的设定主要依据是查询语句中的 where 条件，根据条件通过对主键进行某种形式的二分查找，能够定位到对应的 index granularity避免了全表扫描

index granularity：索引粒度；也就是在稀疏索引中两个相邻索引对应数据的间隔。ClickHouse 中的 MergeTree 默认是 8192；官方不建议修改这个值，除非该列存在大量重复值，比如在一个分区中几万行才有一个不同数据

稀疏索引的好处就是可以用很少的索引数据，定位更多的数据，代价就是只能定位到索引粒度的第一行，然后再进行进行一点扫描

order by

  • order by进行分区内排序，是必须设置的（因为clickhouse使用稀疏索引，如果数据无序，无法根据索引来进行定位）
  • 主键必须是 order by 字段的前缀字段

比如 order by 字段是 (id,sku_id) 那么主键必须是 id 或者(id,sku_id)

假如主键是sku_id，那么可以发现数据在主键维度上是无序的，索引依然无法定位

二级索引

clickhouse从v20.1.2.4 开始全面支持二级索引

创建二级索引的语法：

INDEX a total_amount TYPE minmax GRANULARITY 5

索引名 对应的列 二级索引的类型 粒度

注意：这里的粒度指的是二级索引相对于一级索引的粒度

测试

建表

create table t_order_mt2( \
 id UInt32,\
 sku_id String,\
 total_amount Decimal(16,2),\
 create_time Datetime,\
INDEX a total_amount TYPE minmax GRANULARITY 5\
) engine =MergeTree\
 partition by toYYYYMMDD(create_time)\
 primary key (id)\
 order by (id, sku_id);

插入数据：

insert into t_order_mt2 values \
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,\
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),\
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),\
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',600.00,'2020-06-02 12:00:00');

测试二级索引是否发挥作用：

clickhouse-client --send_logs_level=trace <<< 'select * from t_order_mt2 where total_amount > toDecimal32(900., 2)';

可以看到：

index a在查询过程中起到了粒度划分的作用；

TTL

MergeTree | ClickHouse Docs

TTL 即 Time To Live，MergeTree 提供了可以管理数据表或者列的生命周期的功能

对于表和列都可以指定TTL；

指定列的TTL（建表时）

TTL time_column + interval

建表测试：

create table t_order_mt3(\
 id UInt32,\
 sku_id String,\
 total_amount Decimal(16,2) TTL create_time+interval 10 SECOND,\
 create_time Datetime \
) engine =MergeTree\
partition by toYYYYMMDD(create_time)\
 primary key (id)\
 order by (id, sku_id);

对total_amount列设置了TTL

插入数据：

insert into t_order_mt3 values \
(106,'sku_001',1000.00,'2023-07-31 20:45:10'),\
(107,'sku_002',2000.00,'2023-07-31 20:45:10'),\
(110,'sku_003',600.00,'2023-07-31 20:45:10');

插入完成后可以正常查询到数据：

等待到20:45:20之后再次查询：

发现依然能查询到数据：

可能是因为尚未合并导致的，因此手动合并：

optimize table t_order_mt3 final

发现字段值已经清空：


如果没有反应，可以尝试重启以下clickhouse的服务器，因为TTL操作是单独开启一个进程去完成的，如果机器资源较少，可能出现应答不及时的情况；

修改列的TTL

语法：

通过MODIFY COLUMN实现，简单来说就是重新定义一下这个列；

指定表的TTL

语法：

就是在ORDER BY后面设置TTL即可

官网给出了TTL到达后的三种策略

DELETE：删除对应数据

TO DISK 'aaa'：将数据移动到磁盘'aaa'

TO VOLUME 'bbb'：将数据移动到磁盘'bbb'

修改表的TTL

语法：

ReplacingMergeTree（去重）

ReplacingMergeTree 是 MergeTree 的一个变种，它存储特性完全继承 MergeTree，只是

多了一个去重的功能（根据order by字段进行去重，而不是主键）

去重时机：数据的去重只会在合并的过程中出现（合并会在未知的时间在后台进行，所以你无法预先作出计划。有一些数据可能仍未被处理）

在新版本中插入数据时会先进行一次去重

去重范围：分区内去重，无法跨分区去重

测试

创建表，指定引擎为ReplacingMergeTree

create table t_order_rmt(\
 id UInt32,\
 sku_id String,\
 total_amount Decimal(16,2) ,\
 create_time Datetime \
) engine =ReplacingMergeTree(create_time)\
 partition by toYYYYMMDD(create_time)\
 primary key (id)\
 order by (id, sku_id);

ReplacingMergeTree() 填入的参数为版本字段，重复数据保留版本字段值最大的

如果不填版本字段，默认按照插入顺序保留最后一条

插入数据：

insert into t_order_rmt values\
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,\
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),\
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),\
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',600.00,'2020-06-02 12:00:00');

查询结果如下：

与下图对比可知在插入数据时已经进行了去重

注意到有两条数据的版本字段相同：

最终保留的数据是：

因此可以看到，但版本字段相同时，按照插入顺序保留最后一条

接下来再次插入数据，查询结果如下：

可以看到同一分区内的数据并未进行去重

因此手动执行合并后再查询：

可以看到已经进行了去重；

SummingMergeTree（聚合）

适用于不查询明细，只关心以维度进行汇总聚合结果的场景，可以避免因临时聚合而带来的开销

测试

创建表，指定引擎为SummingMergeTree

create table t_order_smt(\
 id UInt32,\
 sku_id String,\
 total_amount Decimal(16,2) ,\
 create_time Datetime \
) engine =SummingMergeTree(total_amount)\
 partition by toYYYYMMDD(create_time)\
 primary key (id)\
 order by (id,sku_id );

注意，SummingMergeTree()中的字段为聚合字段，即在哪一维度上进行聚合，这里指定的是total_amount，也可以指定多个字段，但必须是数值类型；

如果不填，以所有非维度列且为数字列的字段为汇总数据列

插入数据：

insert into t_order_smt values\
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),\
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),\
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),\
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',600.00,'2020-06-02 12:00:00');

查询结果如下：

首先可以发现，SummingMergeTree是以order by的列作为维度列进行聚合的，而且是分区内聚合；

同时可以看到，同一分区内的相应数据已经进行了聚合：

                                                                        👇

除了维度列和聚合字段之外，create_time这一列保留最早插入的一行；

再次插入数据进行测试：
可以看到并未进行聚合：

这是因为SummingMergeTree和ReplacingMergeTree一样，都是只有在同一批次插入(新版本)或分片合并时才会进行聚合

因此手动执行合并：optimize table t_order_smt final

可以看到成功聚合：

根据聚合表的特性，在实际开发中设计聚合表时，唯一键值、流水号可以去掉，所有字段全部是维度、度量或者时间戳

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/131473.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

翻页产品宣传册怎么制作，这有模板一键套用制作！

翻页产品宣传册怎么制作，这有模板一键套用制作！

对于一个新手来说&#xff0c;想要在短时间内制作出一本精美的翻页产品宣传册&#xff0c;在一定程度上难度是比较大的。一本出色的翻页产品宣传册&#xff0c;既可以打造直观、奋发向上的宣传&#xff0c;又能更进一步的提高名气。 那么&#xff0c;如何制作出精美的翻页产品宣…
阅读更多...
【链表】数据查找和合并

【链表】数据查找和合并

获取链表中间位置的数据 #include <stdio.h> #include <stdlib.h>/* 定义链表的结构体 */ struct Node {int data;struct Node *next; };/* 获取链表中处于中间位置的元素并打印出来*/ void printMiddle(struct Node *head) {struct Node *slow_ptr head;struct …
阅读更多...
合并两个链表 --- 递归回溯算法练习二

合并两个链表 --- 递归回溯算法练习二

目录 1. 分析题意 2. 分析算法原理 2.1. 递归思路&#xff1a; 1. 挖掘子问题&#xff1a; 3. 编写代码 3.1. step one 3.2. step two 3.3. step three 3.1. 递归写法 4. 补充 --- 迭代写法 5. 总结 1. 分析题意 力扣上原题链接如下&#xff1a; 21. 合并两个有序链表…
阅读更多...
密码学 - RSA签名算法

密码学 - RSA签名算法

实验九 RSA签名算法- 一、实验目的 通过实验掌握GMP开源软件的用法&#xff0c;理解RSA数字签名算法&#xff0c;学会RSA数字签名算法程序设计&#xff0c;提高一般数字签名算法的设计能力。 二、实验要求 (1)基于GMP开源软件&#xff0c;实现RSA签名算法。 (2)要求有对应…
阅读更多...
【LeetCode笔试题】88.合并两个有序数组

【LeetCode笔试题】88.合并两个有序数组

问题描述 给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2&#xff0c;另有两个整数 m 和 n &#xff0c;分别表示 nums1 和 nums2 中的元素数目。 请你 合并 nums2 到 nums1 中&#xff0c;使合并后的数组同样按 非递减顺序 排列。 注意&#xff1a;最终&#xff0c;合…
阅读更多...
关灯游戏及扩展

关灯游戏及扩展

7.8 图形界面应用案例——关灯游戏 题目&#xff1a; [案例]游戏初步——关灯游戏。 关灯游戏是很有意思的益智游戏&#xff0c;玩家通过单击关掉(或打开)一盏灯。如果关(掉&#xff08;或打开)一个电灯&#xff0c;其周围(上下左右)的电灯也会触及开关&#xff0c;成…
阅读更多...
spring boot configuration annotation processor notconfigured解决方法

spring boot configuration annotation processor notconfigured解决方法

spring boot configuration annotation processor notconfigured解决方法 一、问题描述二、解决方法 一、问题描述 我在使用ConfigurationProperties注解的时候idea出现提示信息spring boot configuration annotation processor notconfigured&#xff0c;但是却不影响程序的运…
阅读更多...
22款奔驰S400L升级原厂360全景影像 打破死角

22款奔驰S400L升级原厂360全景影像 打破死角

本次星骏汇小许介绍的是22款奔驰S400L升级原厂360全景影像&#xff0c;上帝视角看清车辆周围环境&#xff0c;更轻松驾驶 升级360全景影像系统共有前后左右4个摄像头&#xff0c;分别在车头&#xff0c;车尾&#xff0c;以及两边反光镜下各一个&#xff0c;分别用来采集车头&a…
阅读更多...
Springboot+vue的企业资产管理系统（有报告）。Javaee项目，springboot vue前后端分离项目。

Springboot+vue的企业资产管理系统（有报告）。Javaee项目，springboot vue前后端分离项目。

演示视频&#xff1a; Springbootvue的企业资产管理系统&#xff08;有报告&#xff09;。Javaee项目&#xff0c;springboot vue前后端分离项目。 项目介绍&#xff1a; 本文设计了一个基于Springbootvue的前后端分离的企业资产管理系统&#xff0c;采用M&#xff08;model&a…
阅读更多...
如何更好的使用Copilot

如何更好的使用Copilot

Copilot从诞生到现在过去了挺长时间了&#xff0c;大家对Copilot的评价算是褒贬不一吧。有些人觉得Copilot高效且神奇&#xff0c;可以对自己的工作大大提效&#xff1b;有些觉得也就那样&#xff0c;为什么要花那么多钱做这个事情&#xff0c;钱它不香吗&#xff1f; 从最开始…
阅读更多...
地推网推必备app拉新平台 又升级啦 一手官签渠道

地推网推必备app拉新平台 又升级啦 一手官签渠道

今天地推网推必备app拉新平台 ”聚量推客“ 又升级啦 一手邀请码 000000 今天升级了什么呢&#xff1f; 针对地推和网推作业人员升级了团队管理和做单excel导出功能&#xff0c;更好得查看自己和团队的作业情况&#xff0c;这个功能是地推和网推的一个必备功能
阅读更多...
CodeWhisperer 史上最强大的 AI 编程助手！！

CodeWhisperer 史上最强大的 AI 编程助手！！

最近用了一个叫 CodeWhisperer 的插件&#xff0c;这个软件对于来说开发人员&#xff0c;插件有好多实用的功能&#xff0c;能有效减少我们的重复性工作&#xff0c;让编码更高效&#xff0c;代码质量也提升了很多。 CodeWhisperer 简介 CodeWhisperer 是亚⻢逊出品的一款基于…
阅读更多...
uniapp中在组件中使用被遮挡或层级显示问题

uniapp中在组件中使用被遮挡或层级显示问题

uniapp中在组件中使用或croll-view标签内使用uni-popup在真机环境下会被scroll-view兄弟元素遮挡&#xff0c;在开发环境下和安卓系统中可以正常显示&#xff0c;但在ios中出现了问题 看了许多文章都没有找到问题的原因&#xff0c;最后看到这一个文章http://t.csdnimg.cn/pvQ…
阅读更多...
Clickhouse学习笔记（4）—— Clickhouse SQL

Clickhouse学习笔记（4）—— Clickhouse SQL

insert insert操作和mysql一致 标准语法&#xff1a;insert into [table_name] values(…),(….)从表到表的插入&#xff1a;insert into [table_name] select a,b,c from [table_name_2] update 和 delete ClickHouse 提供了 Delete 和 Update 的能力&#xff0c;这类操作…
阅读更多...
AI 引擎系列 5 - 以 AI 引擎模型为目标运行 AI 引擎编译器（2022.1 更新）

AI 引擎系列 5 - 以 AI 引擎模型为目标运行 AI 引擎编译器（2022.1 更新）

AI 引擎系列 5 - 以 AI 引擎模型为目标运行 AI 引擎编译器&#xff08;2022.1 更新&#xff09; 简介 在先前的 AI 引擎系列博文中&#xff0c;我们以 x86 模型为目标运行了 AI 引擎编译器&#xff0c;并运行了 X86 仿真器来验证 AI 引擎应用的功能模型。在本文中&#xff0c;…
阅读更多...
嵌入式CTS测试

嵌入式CTS测试

1.概述 CTS是一套开源测试套件&#xff0c;可以实现对OpenGL、ES、OpenCL、Vulkan的兼容性测试。OpenGL ES CTS的测试集&#xff0c;其测试用例涵盖了各种OpenGL ES 的功能和特性。这些功能包括着色器编译和链接、图元绘制、纹理操作、帧缓冲操作、深度测试、模板测试以及其他一…
阅读更多...
直播间自动发言机器人的运行分享，与开发需要到的技术分析

直播间自动发言机器人的运行分享，与开发需要到的技术分析

先来看实操成果&#xff0c;↑↑需要的同学可看我名字↖↖↖↖↖&#xff0c;或评论888无偿分享 一、引言 随着人工智能技术的不断发展&#xff0c;自动发言机器人已经成为了当今社交媒体领域的重要组成部分。它们能够自动化地发布内容、回复用户评论和消息&#xff0c;大大提高…
阅读更多...
【Linux】--进程信号

【Linux】--进程信号

信号 1.信号入门 程序员设计进程的时候&#xff0c;早就已经设计了对信号的识别能力&#xff01;&#xff01;&#xff01;&#xff01;进程在没有收到信号的时候&#xff0c;其实它早就已经知道一个信号该怎么处理了&#xff01;因为信号可能随时会产生&#xff0c;所有在信…
阅读更多...
类与对象（2）

类与对象（2）

✨前言✨ &#x1f4d8; 博客主页&#xff1a;to Keep博客主页 &#x1f646;欢迎关注&#xff0c;&#x1f44d;点赞&#xff0c;&#x1f4dd;留言评论 ⏳首发时间&#xff1a;2023年11月11日 &#x1f4e8; 博主码云地址&#xff1a;博主码云地址 &#x1f4d5;参考书籍&…
阅读更多...
牛客、赛码网OJ调试（全）

牛客、赛码网OJ调试（全）

现在无论开发还是测试&#xff0c;面试的时候都需要考察代码能力。 从测试的职业发展来看&#xff0c;现在市场上对于纯功能测试的需求很少&#xff0c;招聘方均要求面试者一方面具备测试基础能力&#xff0c;也要求有点代码能力。 对于测试来说&#xff0c;除了测试开发&#…
阅读更多...
最新文章

Copyright @ 2022~2023