Clickhouse Bitmap 类型操作总结—— Clickhouse 基础篇（四）

文章目录

    • 创建 Bitmap 对象
    • Bitmap 转换为整数数组
    • 计算总数（去重）值
    • 指定start, end 索引生成子 Bitmap
    • 指定 start 索引和数量限制生成子 Bitmap
    • 指定偏移量生成子 Bitmap
    • 是否包含指定元素
    • 两个 Bitmap 是否存在相同元素
    • 一个是否为另一个 Bitmap 的子集
    • 求最小值
    • 求最大值
    • And 求交集
    • Or 求并集
    • Andnot 求差集
    • Xor 求并集元素减去交集元素
    • 求交集元素个数
    • 求并集元素个数
    • 求差集元素个数
    • 求异或元素个数
    • 替换指定范围内的元素

Bitmap 类型说明

  • ClickHouse中的Bitmap对象，本质上是聚合函数类型AggregateFunction(groupBitmap, UInt*)
  • 使用 Bitmap 存储无符号整数，可以节省存储空间，无法直接查询Bitmap 中的数据，需要转换为数组才可以查看。
  • 可以通过 groupBitmap(expr)快速求去重后的总数，等价于 count(distinct expr)

创建 Bitmap 对象

它有两种构造方法：

  • 通过 bitmapBuild 将无符号整数数组转换为 Bitmap 对象

    SELECT bitmapBuild([1,2,3]) AS res

  • 使用聚合函数groupBitmapState创建Bitmap对象, 将无符号整数列转换为 Bitmap 对象。

    SELECT 
  groupBitmapState(UserID) AS res
FROM hits_v1
where UserID IN ()

    快速求去重后的数量：

    # 等价于 count(distinct(UserID))
SELECT groupBitmap(UserID) AS res FROM hits_v1

    输出如下：
    image.png

Bitmap 转换为整数数组

bitmapBuild(array)

select bitmapBuild([1,2,3]) AS res, bitmapToArray(res) AS arr;

################
┌─res─┬─arr─────┐
│     │ [1,2,3] │
└─────┴─────────┘

计算总数（去重）值

bitmapCardinality(bitmap)
数组中的元素为 Uint64 类型的

SELECT bitmapCardinality(bitmapBuild([1,2,3,4,5,5,5])) AS res;

#################
┌─res─┐
│   5 │
└─────┘

指定start, end 索引生成子 Bitmap

bitmapSubsetInRange(bitmap, range_start, range_end)

SELECT bitmapToArray(bitmapSubsetInRange(
  bitmapBuild([0,1,2,3,4,5,6,7,8]), toUInt32(1), toUInt32(3))) AS res;

################
┌─res───┐
│ [1,2] │
└───────┘

指定 start 索引和数量限制生成子 Bitmap

bitmapSubsetLimit(bitmap, range_start, cardinality_limit)

SELECT bitmapToArray(bitmapSubsetLimit(
  bitmapBuild([0,1,2,3,4,5,6,7,8]), toUInt32(3), toUInt32(30))) AS res;

################
┌─res───────────┐
│ [3,4,5,6,7,8] │
└───────────────┘

指定偏移量生成子 Bitmap

subBitmap(bitmap, offset, cardinality_limit)
偏移量从0开始

SELECT bitmapToArray(subBitmap(
  bitmapBuild([0,1,2,3,4,5,6,7,8]), toUInt32(3), toUInt32(30))) AS res;

#######################
┌─res───────────┐
│ [3,4,5,6,7,8] │
└───────────────┘

是否包含指定元素

bitmapContains(bitmap, x)
包含返回1， 不包含返回0

SELECT
  bitmapContains(bitmapBuild([1, 3, 5, 7, 9]), toUInt32(3)) AS res1,
  bitmapContains(bitmapBuild([1, 3, 5, 7, 9]), toUInt32(4)) AS res2;

#######################
┌─res1─┬─res2─┐
│    1 │    0 │
└──────┴──────┘

两个 Bitmap 是否存在相同元素

bitmapHasAny(bitmap1,bitmap2)
存在返回1， 不存在返回0

SELECT 
  bitmapHasAny(bitmapBuild([1,2,3]), bitmapBuild([3,4,5])) as res1,
  bitmapHasAny(bitmapBuild([1,2,3]), bitmapBuild([4,5])) as res2;

####################
┌─res1─┬─res2─┐
│    1 │    0 │
└──────┴──────┘

一个是否为另一个 Bitmap 的子集

bitmapHasAll(bitmap1,bitmap2)

SELECT 
  bitmapHasAll(bitmapBuild([1,2,3]), bitmapBuild([2,3])) as res1,
  bitmapHasAll(bitmapBuild([1,2,3]), bitmapBuild([2,3,4])) as res2,
  bitmapHasAll(bitmapBuild([1,2,3]), bitmapBuild(emptyArrayUInt8())) as res3;

#####################
┌─res1─┬─res2─┬─res3─┐
│    1 │    0 │    1 │
└──────┴──────┴──────┘

求最小值

bitmapMin(bitmap)
数组为空返回0

SELECT 
 bitmapMin(bitmapBuild([1,2,3])) as res1,
 bitmapMin(bitmapBuild(emptyArrayUInt8())) as res2;

#############
┌─res1─┬─res2─┐
│    1 │   0   │
└──────┴──────┘

求最大值

bitmapMax(bitmap)
数组为空，返回0

SELECT 
 bitmapMax(bitmapBuild([1,2,3])) as res1,
 bitmapMin(bitmapBuild(emptyArrayUInt8())) as res2;
###################
┌─res1─┬─res2─┐
│    3 │    0 │
└──────┴──────┘

And 求交集

bitmapAnd(bitmap1,bitmap2)

SELECT bitmapToArray(bitmapAnd(
  bitmapBuild([1,2,3]), bitmapBuild([2,3,4])
));
#################
┌─bitmapToArray(bitmapAnd(bitmapBuild([1, 2, 3]), bitmapBuild([2, 3, 4])))─┐
│ [2,3]                                                                    │
└──────────────────────────────────────────────────────────────────────────┘

Or 求并集

bitmapOr(bitmap1,bitmap2)

SELECT bitmapToArray(bitmapOr(
  bitmapBuild([1,2,3]), bitmapBuild([2,3,4])
));
#################
┌─bitmapToArray(bitmapOr(bitmapBuild([1, 2, 3]), bitmapBuild([2, 3, 4])))─┐
│ [1,2,3,4]                                                               │
└─────────────────────────────────────────────────────────────────────────┘

Andnot 求差集

bitmapAndnot(bitmap1,bitmap2)

SELECT bitmapToArray(bitmapAndnot(
  bitmapBuild([1,2,3]), bitmapBuild([2,3,4])
));
#################
┌─bitmapToArray(bitmapAndnot(bitmapBuild([1, 2, 3]), bitmapBuild([2, 3, 4])))─┐
│ [1]                                                                         │
└─────────────────────────────────────────────────────────────────────────────┘

Xor 求并集元素减去交集元素

bitmapXor(bitmap1,bitmap2)

SELECT bitmapToArray(bitmapXor(
  bitmapBuild([1,2,3]), bitmapBuild([2,3,4])
));

###################
┌─bitmapToArray(bitmapXor(bitmapBuild([1, 2, 3]), bitmapBuild([2, 3, 4])))─┐
│ [1,4]                                                                    │
└──────────────────────────────────────────────────────────────────────────┘

求交集元素个数

bitmapAndCardinality(bitmap1,bitmap2)

SELECT bitmapAndCardinality(
  bitmapBuild([1,2,3]), bitmapBuild([2,3,4])
);

#############
┌─bitmapAndCardinality(bitmapBuild([1, 2, 3]), bitmapBuild([2, 3, 4]))─┐
│                                                                    2 │
└──────────────────────────────────────────────────────────────────────┘

求并集元素个数

bitmapOrCardinality(bitmap1,bitmap2)

SELECT bitmapOrCardinality(
  bitmapBuild([1,2,3]), bitmapBuild([2,3,4])
);

##################
┌─bitmapOrCardinality(bitmapBuild([1, 2, 3]), bitmapBuild([2, 3, 4]))─┐
│                                                                   4 │
└─────────────────────────────────────────────────────────────────────┘

求差集元素个数

bitmapAndnotCardinality(bitmap1,bitmap2)

SELECT bitmapAndnotCardinality(
  bitmapBuild([1,2,3]), bitmapBuild([2,3,4])
);

##################
┌─bitmapAndnotCardinality(bitmapBuild([1, 2, 3]), bitmapBuild([2, 3, 4]))─┐
│                                                                       1 │
└─────────────────────────────────────────────────────────────────────────┘

求异或元素个数

bitmapXorCardinality(bitmap1,bitmap2)

SELECT bitmapXorCardinality(
  bitmapBuild([1,2,3]), bitmapBuild([2,3,4])
);

##################
┌─bitmapXorCardinality(bitmapBuild([1, 2, 3]), bitmapBuild([2, 3, 4]))─┐
│                                                                    2 │
└──────────────────────────────────────────────────────────────────────┘

替换指定范围内的元素

bitmapTransform(bitmap, from_array, to_array)
将Bitmap 中的 [5,999,2] 元素替换为 [2,888,20]

SELECT bitmapToArray(
  bitmapTransform(bitmapBuild([1,2,3,4,5,6,7,8,9,10]), [5,999,2], [2,888,20])
) as res;
#############
┌─res───────────────────┐
│ [1,3,4,6,7,8,9,10,20] │
└───────────────────────┘

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/657501.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

[机缘参悟-191] - 《道家-水木然人间清醒1》读书笔记 -14- 关系界限 - 经济和人格上的独立，走向成熟的必经之路，才能更好的谈其他情感(IT)

[机缘参悟-191] - 《道家-水木然人间清醒1》读书笔记 -14- 关系界限 - 经济和人格上的独立，走向成熟的必经之路，才能更好的谈其他情感(IT)

目录 前言： 1、“友善的孤独者” 2、“外向的孤独者” 3、道不同不相为谋 4、警惕依赖 5、完整独立的个体 6、不必纠正他人的错误，除非他影响了你 7、不再期待别人能理解自己，只有高维向下兼容你的人才能理解你 8、只有高维和同频的…
阅读更多...
简单得阴影引导实现

简单得阴影引导实现

效果如下: 实现方式： 1、引入三方库： implementation io.github.razerdp:BasePopup:3.2.0 2、代码实现 class NewUserGuide3Popup : BasePopupWindow {constructor(activity: Activity) : super(activity)constructor(context: Context) : super(con…
阅读更多...
【ArcGIS For JS】前端geojson渲染行政区划图层并加标签

【ArcGIS For JS】前端geojson渲染行政区划图层并加标签

原理 通过DataV工具 生成行政区的geojson（得到各区的面元素数据）, 随后使用手动绘制featureLayer与Label，并加载到地图。 //vue3加载geojson数据public/geojson/pt.json,在MapView渲染上加载geojson数据 type是"MultiPolygon"fetc…
阅读更多...
K-means 聚类模型详解

K-means 聚类模型详解

K-means 聚类模型详解 K-means 是一种常用的无监督学习算法，用于将数据集分成 K 个簇。其目标是最小化各个簇内数据点到簇中心的距离平方和。K-means 广泛应用于图像压缩、市场细分、模式识别等领域。 算法步骤 初始化: 随机选择 K 个初始簇中心（质心…
阅读更多...
APM2.8内置罗盘校准

APM2.8内置罗盘校准

如果你有外置罗盘，可以不用校准内置罗盘，可以忽略此文。推荐使用外置罗盘，内置罗盘容易受干扰。 使用内置罗盘需要插入飞控GPS接口旁边的跳线帽。如图： 如果要使用内置罗盘，而又加了GPS的，记得一定要把GPS…
阅读更多...
美光拟投巨资在日本广岛建DRAM厂，目标2027年底投产

美光拟投巨资在日本广岛建DRAM厂，目标2027年底投产

美光科技（Micron Technology）据日本媒体报道，计划在日本广岛县新建一座DRAM芯片生产工厂，目标最快于2027年底投入运营。这一举措标志着美光在增强其内存芯片生产能力方面的又一重大步伐。 报道称，新工厂的总投资规模预…
阅读更多...
【Qt秘籍】[003]-Qt环境变量配置-磨刀不误砍柴工

【Qt秘籍】[003]-Qt环境变量配置-磨刀不误砍柴工

一、为什么要设置环境变量 ？[原因] 配置PATH环境变量的主要用处在于让操作系统能够识别并执行不在当前工作目录下的可执行文件。具体来说，它的作用包括： 命令执行便捷性：当你在命令行输入一个命令（如java, python或np…
阅读更多...
152.找出峰值（力扣）

152.找出峰值（力扣）

代码解决 class Solution { public:// 函数用于找到山峰元素的索引vector<int> findPeaks(vector<int>& mountain) {vector<int> result; // 用于存储山峰元素的索引// 遍历数组&#xff0c;从第二个元素到倒数第二个元素for(int i 1; i 1 < mount…
阅读更多...
计算机考研｜408开始的晚，如何规划复习？

计算机考研｜408开始的晚，如何规划复习？

408开始的比较晚不用怕 只需要6个月的复习时间&#xff0c;按照我的复习计划&#xff0c;你至少可以考100这个分数 我的计划是对于基础差的考生的&#xff0c;大佬们就可以绕道了&#xff0c;对于基础差的考生来说&#xff0c;408复习的难点其实在于学好数据结构和计算机组成…
阅读更多...
SQL 语言：数据操作

SQL 语言：数据操作

文章目录 SELECT 基本结构简单查询连接查询子查询聚集函数和更名操作分组查询字符串操作集合操作UNION 运算INTERSECT 运算EXCEPT 运算 视图查询和更新WITH 子句其他语句总结 SQL 的数据操作包括 SELECT(查询)、INSERT(插入)、DELETE(删除)和 UPDATE(修改)四条语句。 SELECT 基…
阅读更多...
AIGC中国开发者大会：AI Agent中国落地发展现状及多模态结合具身智能的发展展望

AIGC中国开发者大会：AI Agent中国落地发展现状及多模态结合具身智能的发展展望

引言 2024年5月25日&#xff0c;第三届AIGC中国开发者大会在昆仑巢成功举办。本次大会围绕“AI Agent的国内应用现状及多模态结合具身智能的发展展望”这一主题&#xff0c;邀请了多位知名企业家、投资人以及技术专家&#xff0c;共同探讨大模型在中国各行各业的应用现状及未来…
阅读更多...
opencascade 快速显示AIS_ConnectedInteractive源码学习

opencascade 快速显示AIS_ConnectedInteractive源码学习

AIS_ConcentricRelation typedef PrsDim_ConcentricRelation AIS_ConcentricRelation AIS_ConnectedInteractive 简介 创建一个任意位置的另一个交互对象实例作为参考。这允许您使用连接的交互对象&#xff0c;而无需重新计算其表示、选择或图形结构。这些属性是从您的参考对…
阅读更多...
ansible批量漏洞升级openssh版本

ansible批量漏洞升级openssh版本

1、ansible宿主机准备好环境&#xff0c;并写好hosts文件 [rootoxidized ansible]# cat hosts [all] 10.10.200.33 10.10.200.34 10.10.200.35跑playbook之前记得提前发送秘钥 ssh-copy-id 10.10.200.33/34/352、下载好安装包&#xff0c;然后编写yml [rootoxidized ansible]…
阅读更多...
C语言 | Leetcode C语言题解之第118题杨辉三角

C语言 | Leetcode C语言题解之第118题杨辉三角

题目&#xff1a; 题解&#xff1a; int** generate(int numRows, int* returnSize, int** returnColumnSizes) {int** ret malloc(sizeof(int*) * numRows);*returnSize numRows;*returnColumnSizes malloc(sizeof(int) * numRows);for (int i 0; i < numRows; i) {re…
阅读更多...
redis显示RDB error

redis显示RDB error

报错问题&#xff1a;"RDB error" 是指在Redis的RDB持久化过程中出现了错误。Redis的RDB持久化是通过将内存中的数据集快照保存到磁盘中的一种方式。如果在这个过程中遇到问题&#xff0c;Redis会记录一条包含"RDB error"的日志信息。上图错误&#xff0c;…
阅读更多...
C++ | Leetcode C++题解之第118题杨辉三角

C++ | Leetcode C++题解之第118题杨辉三角

题目&#xff1a; 题解&#xff1a; class Solution { public:vector<vector<int>> generate(int numRows) {vector<vector<int>> ret(numRows);for (int i 0; i < numRows; i) {ret[i].resize(i 1);ret[i][0] ret[i][i] 1;for (int j 1; j &…
阅读更多...
Golang | Leetcode Golang题解之第118题杨辉三角

Golang | Leetcode Golang题解之第118题杨辉三角

题目&#xff1a; 题解&#xff1a; func generate(numRows int) [][]int {ans : make([][]int, numRows)for i : range ans {ans[i] make([]int, i1)ans[i][0] 1ans[i][i] 1for j : 1; j < i; j {ans[i][j] ans[i-1][j] ans[i-1][j-1]}}return ans }
阅读更多...
SpringBoot 微服务中怎么获取用户信息 token

SpringBoot 微服务中怎么获取用户信息 token

SpringBoot 微服务中怎么获取用户信息 token 当我们写了一个A接口&#xff0c;这个接口需要调用B接口&#xff0c;但是B接口需要包含请求头内容&#xff0c;比如需要用户信息、用户id等内容&#xff0c;由于不在同一个线程中&#xff0c;使用ThreadLocal去获取数据是无法获取的…
阅读更多...
Qt串口异步通信案例（从机线程）

Qt串口异步通信案例（从机线程）

文章目录 串口线程类初始化串口类打开串口并发送数据析构函数 窗口设置窗口函数实现 串口线程类 SlaveThread&#xff08;从机线程&#xff09; 目的&#xff1a;等待并响应来自主机的请求&#xff0c;然后发送预设的响应数据。 关键行为&#xff1a;线程启动后&#xff0c;通过…
阅读更多...
AJAX基础知识

AJAX基础知识

定义 Ajax 异步 JavaScript 和 XML &#xff08; async javascript and xml &#xff09;&#xff0c;使用 Ajax 技术网页应用能够快速地将数据更新呈现在用户界面上&#xff0c;而不需要重载&#xff08;刷新&#xff09;整个页面&#xff0c;这使得程序能够更快地回应用户的操…
阅读更多...
最新文章

Copyright @ 2022~2023