clickhouse

ClickHouse是一种用于在线分析处理 (OLAP) 的高性能、面向列的 SQL 数据库管理系统 (DBMS)。它既可以作为开源软件也可以作为云产品提供。
官网：https://clickhouse.com/#quick-start
中文文档：https://clickhouse.com/docs/zh

什么是 OLAP

OLAP 场景需要对大型数据集进行实时响应，以进行复杂的分析查询，具有以下特征：
数据集可能非常庞大 - 数十亿或数万亿行。
数据组织在包含许多列的表中。
只有少数列选择回答任何特定查询结果必须以毫秒或秒为单位返回。

OLAP场景的关键属性

绝大多数是读请求。
宽表，即每个表包含着大量的列。
数据集很大，处理单个查询时查询需要高吞吐量（每台服务器每秒高达数十亿行）。
列值相当小：数字和短字符串（例如，每个 URL 60 字节）。
查询提取大量行，但只提取一小部分列。
对于简单查询，允许 50 毫秒左右的延迟。
每个查询有一个大表。除了他以外，其他的都很小。
查询结果明显小于源数据。换句话说，数据经过过滤或聚合，因此结果适合单个服务器的 RAM。
查询相对较少（通常每台服务器每秒数百个查询或更少）。
插入发生在相当大的批次（大于1000 行）中，而不是单行。
事务不是必须的。
对数据一致性要求低。

ClickHouse的特性

真正的列式数据库管理系统：在一个真正的列式数据库管理系统中，除了数据本身外不应该存在其他额外的数据。这意味着为了避免在值旁边存储它们的长度«number»，你必须支持固定长度数值类型。
数据压缩：在一些列式数据库管理系统中(例如：InfiniDB CE 和 MonetDB) 并没有使用数据压缩。但是, 若想达到比较优异的性能，数据压缩确实起到了至关重要的作用。
除了在磁盘空间和CPU消耗之间进行不同权衡的高效通用压缩编解码器之外，ClickHouse还提供针对特定类型数据的专用编解码器，这使得ClickHouse能够与更小的数据库(如时间序列数据库)竞争并超越它们。
数据的磁盘存储：ClickHouse被设计用于工作在传统磁盘上的系统，它提供每GB更低的存储成本，但如果可以使用SSD和内存，它也会合理的利用这些资源。
多核心并行处理： ClickHouse会使用服务器上一切可用的资源，从而以最自然的方式并行处理大型查询。
多服务器分布式处理： 上面提到的列式数据库管理系统中，几乎没有一个支持分布式的查询处理。 在ClickHouse中，数据可以保存在不同的shard上，每一个shard都由一组用于容错的replica组成，查询可以并行地在所有shard上进行处理。这些对用户来说是透明的
支持SQL： ClickHouse支持一种基于SQL的声明式查询语言，它在许多情况下与ANSI SQL标准相同。支持的查询GROUP BY, ORDER BY, FROM, JOIN, IN以及非相关子查询。相关(依赖性)子查询和窗口函数暂不受支持，但将来会被实现。
向量引擎： 为了高效的使用CPU，数据不仅仅按列存储，同时还按向量(列的一部分)进行处理，这样可以更加高效地使用CPU。
实时的数据更新： ClickHouse支持在表中定义主键。为了使查询能够快速在主键中进行范围查找，数据总是以增量的方式有序的存储在MergeTree中。因此，数据可以持续不断地高效的写入到表中，并且写入的过程中不会存在任何加锁的行为。
索引： 按照主键对数据进行排序，这将帮助ClickHouse在几十毫秒以内完成对数据特定值或范围的查找。
适合在线查询： 在线查询意味着在没有对数据做任何预处理的情况下以极低的延迟处理查询并将结果加载到用户的页面中。
支持近似计算： ClickHouse提供各种各样在允许牺牲数据精度的情况下对查询进行加速的方法：用于近似计算的各类聚合函数，如：distinct values, medians, quantiles；基于数据的部分样本进行近似查询。这时，仅会从磁盘检索少部分比例的数据；不使用全部的聚合条件，通过随机选择有限个数据聚合条件进行聚合。这在数据聚合条件满足某些分布条件下，在提供相当准确的聚合结果的同时降低了计算资源的使用。
自适应连接算法： ClickHouse支持自定义JOIN多个表，它更倾向于散列连接算法，如果有多个大表，则使用合并-连接算法；
支持数据复制和数据完整性： ClickHouse使用异步的多主复制技术。当数据被写入任何一个可用副本后，系统会在后台将数据分发给其他副本，以保证系统在不同副本上保持相同的数据。在大多数情况下ClickHouse能在故障后自动恢复，在一些少数的复杂情况下需要手动恢复。
角色的访问控制： ClickHouse使用SQL查询实现用户帐户管理，并允许角色的访问控制，类似于ANSI SQL标准和流行的关系数据库管理系统。
限制：没有完整的事务支持；缺少高频率，低延迟的修改或删除已存在数据的能力，仅能用于批量删除或修改数据，但这符合 GDPR；稀疏索引使得ClickHouse不适合通过其键检索单行的点查询。

ClickHouse性能

单个大查询的吞吐量： 吞吐量可以使用每秒处理的行数或每秒处理的字节数来衡量。如果数据被放置在page cache中，则一个不太复杂的查询在单个服务器上大约能够以2-10GB／s（未压缩）的速度进行处理（对于简单的查询，速度可以达到30GB／s）。如果数据没有在page cache中的话，那么速度将取决于你的磁盘系统和数据的压缩率。例如，如果一个磁盘允许以400MB／s的速度读取数据，并且数据压缩率是3，则数据的处理速度为1.2GB/s。这意味着，如果你是在提取一个10字节的列，那么它的处理速度大约是1-2亿行每秒。
处理短查询的延迟时间：如果一个查询使用主键并且没有太多行(几十万)进行处理，并且没有查询太多的列，那么在数据被page cache缓存的情况下，它的延迟应该小于50毫秒(在最佳的情况下应该小于10毫秒)。 否则，延迟取决于数据的查找次数。如果你当前使用的是HDD，在数据没有加载的情况下，查询所需要的延迟可以通过以下公式计算得知： 查找时间（10 ms） * 查询的列的数量 * 查询的数据块的数量。
处理大量短查询的吞吐量：在相同的情况下，ClickHouse可以在单个服务器上每秒处理数百个查询（在最佳的情况下最多可以处理数千个）。但是由于这不适用于分析型场景。因此我们建议每秒最多查询100次。
数据的写入性能：我们建议每次写入不少于1000行的批量写入，或每秒不超过一个写入请求。当使用tab-separated格式将一份数据写入到MergeTree表中时，写入速度大约为50到200MB/s。如果您写入的数据每行为1Kb，那么写入的速度为50，000到200，000行每秒。如果您的行更小，那么写入速度将更高。为了提高写入性能，您可以使用多个INSERT进行并行写入，这将带来线性的性能提升。

docker安装

官网：https://docs.docker.com/engine/install/centos/
参考《docker安装及https防止攻击配置》
参考《docker镜像仓库加速配置》

>安装步骤：
1、卸载旧版本
旧版本的 Docker 被称为docker或docker-engine。如果安装了这些，请卸载它们以及相关的依赖项。

 sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine
如果yum报告没有安装这些软件包，那也没关系，docker的内容/var/lib/docker/，包括图像、容器、卷和网络，将被保留。Docker 引擎包现在被称为docker-ce

2、设置存储库
安装yum-utils包（提供yum-config-manager 实用程序）并设置稳定存储库
sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
阿里云：
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
更新索引：yum makecache fast

3、安装 Docker 引擎
安装最新版本的 Docker Engine 和 containerd，或者进入下一步安装特定版本
sudo yum install docker-ce docker-ce-cli containerd.io
启动 Docker：sudo systemctl start docker

4、卸载 Docker Engine、CLI 和 Containerd 包：
 sudo yum remove docker-ce docker-ce-cli containerd.io
主机上的映像、容器、卷或自定义配置文件不会自动删除。删除所有镜像、容器和卷：
 sudo rm -rf /var/lib/docker
 sudo rm -rf /var/lib/containerd
您必须手动删除任何已编辑的配置文件。

clikehouse安装部署

系统要求

ClickHouse可以在任何具有x86_64，AArch64或PowerPC64LE CPU架构的Linux，FreeBSD或Mac OS X上运行。
官方预构建的二进制文件通常针对x86_64进行编译，并利用SSE 4.2指令集，因此，除非另有说明，支持它的CPU使用将成为额外的系统需求。下面是检查当前CPU是否支持SSE 4.2的命令:
$ grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo “SSE 4.2 not supported”
要在不支持SSE 4.2或AArch64，PowerPC64LE架构的处理器上运行ClickHouse，您应该通过适当的配置调整从源代码构建ClickHouse。

DEB安装包

议使用Debian或Ubuntu的官方预编译deb软件包。运行以下命令来安装包:
参考： https://clickhouse.com/docs/zh/getting-started/install

RMP安装包

推荐使用CentOS、RedHat和所有其他基于rpm的Linux发行版的官方预编译rpm包。
首先，您需要添加官方存储库：
参考： https://clickhouse.com/docs/zh/getting-started/install

你也可以从这里手动下载安装包：https://packages.clickhouse.com/rpm/stable。

Tgz安装包

如果您的操作系统不支持安装deb或rpm包，建议使用官方预编译的tgz软件包。

所需的版本可以通过curl或wget从存储库https://packages.clickhouse.com/tgz/下载。

下载后解压缩下载资源文件并使用安装脚本进行安装。以下是一个最新稳定版本的安装示例:
参考： https://clickhouse.com/docs/zh/getting-started/install

对于生产环境，建议使用最新的stable版本。你可以在GitHub页面https://github.com/ClickHouse/ClickHouse/tags找到它，它以后缀-stable标志。

Docker安装包

1、下载安装包

docker pull yandex/clickhouse-server

2、 创建挂在目录

mkdir -p /home/data/clickhouse/data
mkdir -p /home/data/clickhouse/conf
mkdir -p /home/data/clickhouse/log
chmod -R 777 /home/data/clickhouse/

3、 创建临时容器

docker run --rm -d --name=clickhouse \
--ulimit nofile=262144:262144 \
-p 8123:8123 -p 9009:9009 -p 9090:9000 \
yandex/clickhouse-server

4、复制临时容器内配置文件到宿主机

docker cp clickhouse:/etc/clickhouse-server/config.xml /home/data/clickhouse/conf/config.xml
docker cp clickhouse:/etc/clickhouse-server/users.xml /home/data/clickhouse/conf/users.xml

5、停止并删除临时容器

docker rm -f a1e13c1933ec
docker ps

6、创建default账号密码

执行以下命令后会在命令行打印密码明文和密码密文：

PASSWORD=$(base64 < /dev/urandom | head -c8); echo "$PASSWORD"; echo -n "$PASSWORD" | sha256sum | tr -d '-'

[root@node103 ~]# 
[root@node103 ~]# PASSWORD=$(base64 < /dev/urandom | head -c8); echo "$PASSWORD"; echo -n "$PASSWORD" | sha256sum | tr -d '-'
UyS48JBJ
f9417c29eb7da329142a858602cc1d5840a67badb1a32d32b60442f4b7e69c12  
[root@node103 ~]# 

7、修改 users.xml

vi /home/data/clickhouse/conf/users.xml
把default账号设为只读权限并设置密码：yandex–>users–>default–>profile 节点设为readonly=1

注释掉 yandex–>users–>default–>password 改为<password_sha256_hex>f9417c29eb7da329142a858602cc1d5840a67badb1a32d32b60442f4b7e69c12</password_sha256_hex>

节点新增 yandex–>users–>default–>password_sha256_hex 节点，填入生成的密码

8、创建容器

docker run -dit --name=clickhouse \
-p 8123:8123 -p 9009:9009 -p 9090:9000 \
--ulimit nofile=262144:262144 \
-v /home/data/clickhouse/data:/var/lib/clickhouse:rw \
-v /home/data/clickhouse/conf/config.xml:/etc/clickhouse-server/config.xml \
-v /home/data/clickhouse/conf/users.xml:/etc/clickhouse-server/users.xml \
-v /home/data/clickhouse/log:/var/log/clickhouse-server:rw \
yandex/clickhouse-server

查看进程：docker ps

9、客户端连接

命令行客户端

ClickHouse提供了一个原生命令行客户端clickhouse-client客户端支持命令行支持的更多信息详见Configuring。
安装部署后，系统默认会安装clickhouse-client(同时它属于clickhouse-client安装包中)。
$ clickhouse-client
ClickHouse client version 19.17.1.1579 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 19.17.1.

😃
不同的客户端和服务器版本彼此兼容，但是一些特性可能在旧客户机中不可用。我们建议使用与服务器应用相同版本的客户端。当你尝试使用旧版本的客户端时，服务器上的clickhouse-client会显示如下信息:
ClickHouse client version is older than ClickHouse server. It may lack support for new features.

1.查看clickhouse进程：docker ps
2.进入容器内部： docker exec -it e1d6ef1133b9 /bin/bash
3.查询clickhouse-client 命令所在目录：ls /bin/
3.执行命令查看版本： ./bin/clickhouse-client


可以看到版本如下：
ClickHouse client version 21.12.3.32 (official build).
连接地址为： localhost:9000，登录账号为default
Connecting to localhost:9000 as user default.

idea datasource客户端

以下使用idea自带插件datasource连接测试。
右侧菜单栏datasource>data source>clickhouse

填写登录ip、账号、密码，点击download下载clickhouse驱动包。