ClickHouse 入门与实战教程

目录

1. ClickHouse 简介

什么是 ClickHouse？

ClickHouse 的优势和特点

适用场景

2. 安装 ClickHouse

3. ClickHouse 的基本概念

4. ClickHouse 的基本操作

创建数据库和表、插入和查询数据

使用 MergeTree 引擎处理时序数据

管理分区

创建带有分区的 MergeTree 表

添加新分区

删除旧分区

查询现有分区

合并分区

5. ClickHouse 与 Spring Boot 集成

6. 注意事项和常见问题

注意事项

常见问题

结语

1. ClickHouse 简介

什么是 ClickHouse？

        ClickHouse 是一个用于实时数据分析的开源列式数据库，最初由俄罗斯的 Yandex 开发。它以高性能和卓越的可扩展性著称，专门用于高性能数据分析。它被设计用于大规模数据集的高速查询和分析，特别适用于 OLAP（联机分析处理）工作负载。

clickHouse官网：Fast Open-Source OLAP DBMS - ClickHouse

ClickHouse 的优势和特点

  • 列式存储：ClickHouse 采用列式存储，将数据按列存储在磁盘上，有助于压缩数据以及优化分析查询性能。

  • 高性能：ClickHouse 针对大数据量和高吞吐量进行了优化，能够在秒级内查询和分析数十亿行数据。

  • 分布式架构：支持水平扩展和集群部署，能够处理大规模数据，并提供高可用性。

  • 并行处理：能够同时利用多个 CPU 核心进行并行计算，提高查询处理速度。

  • 实时数据分析：ClickHouse 支持实时数据导入和实时查询，适用于需要快速分析实时数据的场景。

  • 灵活的查询语言：支持 SQL 查询语言，提供了丰富的查询功能，包括聚合、分组、排序等。

  • 可扩展性：可轻松集成到现有的数据处理管道中，支持多种数据格式。

        ClickHouse 被广泛应用于数据分析领域，特别适用于大数据量下的实时分析和报表生成等场景。其高性能和高度优化的列式存储特性使其成为处理大规模数据分析任务的理想选择。

适用场景

        ClickHouse 是一个针对大规模数据分析和时序数据处理优化的开源列式数据库管理系统。下面列举一些较为常用的场景：

  • 时序数据分析：

    • ClickHouse 专注于时序数据，非常适用于处理时间序列数据，比如日志、传感器数据、监控数据等。
    • 能够高效处理需要按时间序列进行快速查询和分析的大规模数据。

  • 实时数据仓库（Real-time Data Warehouse）：

    • ClickHouse 可以作为实时数据仓库，支持高并发、高吞吐量的查询，适用于快速响应实时数据的分析查询需求。

  • 分布式分析：

    • 适用于大规模数据分析场景，支持分布式部署和高度扩展性，能够处理PB级别的数据规模。

  • 大规模数据分析和报表：

    • 用于生成报表、数据可视化以及对海量数据进行查询和分析。

  • 日志和事件数据处理：

    • 适用于处理大量日志和事件数据，支持对日志和事件数据进行快速的聚合、筛选和分析。

  • 高性能时序数据存储：

    • ClickHouse 的列式存储、数据压缩和查询优化，使其在存储大量时序数据时表现出色。

  • 数据仓库存储：

    • 作为数据仓库存储系统，适用于存储和分析大量结构化数据，支持复杂的数据查询。

  • 大数据分析平台：

    • 在大数据分析平台中作为存储层，为大数据计算提供支持。

2. 安装 ClickHouse

        ubuntu 安装参考这篇：【入门篇】ClickHouse 的安装与配置_clickhouse 安装-CSDN博客

        centos安装参考这篇：Linux（Centos7）下安装部署clickhouse（详细版）

3. ClickHouse 的基本概念

  • 表（Table）

    ClickHouse 中的表是数据存储的基本单元，使用列式存储。

  • 列族（Column Family）

    ClickHouse 的表可以按列族进行组织，相似类型的列可以组合在一起进行物理存储和压缩。

  • 分区（Partition）

    ClickHouse 支持根据分区键将数据分割成不同的分区，便于管理和查询。

  • 引擎（Storage Engine）

    ClickHouse 支持多种存储引擎，用于控制数据的存储方式和处理方法。

  • MergeTree

    ClickHouse 最常用的存储引擎之一，专门用于处理时序数据的引擎。

  • MergeTree 索引（Index）

    ClickHouse 使用 MergeTree 索引来加速查询操作。

4. ClickHouse 的基本操作

创建数据库和表、插入和查询数据

-- 创建数据库
CREATE DATABASE IF NOT EXISTS my_db;

-- 创建表
CREATE TABLE IF NOT EXISTS my_db.my_table
(
    event_date Date,
    event_time DateTime,
    user_id Int32,
    clicks Int32
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, event_time);

-- 插入数据
INSERT INTO my_db.my_table (event_date, event_time, user_id, clicks)
VALUES ('2023-12-31', '2023-12-31 23:59:59', 1, 10);

-- 查询数据
select * from my_db.my_table;

使用 MergeTree 引擎处理时序数据

        在 ClickHouse 中，MergeTree 引擎非常适合处理时序数据，例如日志、性能指标数据、时间序列数据等。它是 ClickHouse 提供的一种用于存储有序数据并快速执行范围查询的引擎。以下是使用 MergeTree 引擎处理时序数据的示例：

  • 创建带有 MergeTree 引擎的表

首先要创建一个带有 MergeTree 引擎的表。指定 ORDER BY 和 PARTITION BY 子句。

CREATE TABLE IF NOT EXISTS tb_metric(
    timestamp DateTime,
    value Float64
) ENGINE = MergeTree()
ORDER BY (timestamp)
PARTITION BY toYYYYMM(timestamp);

        在这个示例中，创建了一个名为 tb_metric的表，包含 timestamp 和 value 两个字段。表使用 MergeTree() 引擎，按照 timestamp 字段进行排序，并按年份和月份进行分区。

  • 插入时序数据

INSERT INTO your_table (timestamp, value)
VALUES ('2023-12-01 10:00:00', 25.5),
       ('2023-12-01 10:05:00', 26.2),
       ('2023-12-01 10:10:00', 24.8),
       ...

  • 查询时序数据

使用 MergeTree 引擎后，可以执行范围查询以获取特定时间范围内的数据。

SELECT *
FROM tb_metric
WHERE timestamp BETWEEN '2023-12-01 00:00:00' AND '2023-12-01 23:59:59';

该语句会检索tb_metric 表中 '2023-12-01' 这一天的所有数据，比如指标数据每分钟采集一次并进行存储，这个表的数据量会巨大，那么这个时候用此方式检索会比较快。

管理分区

在 ClickHouse 中，MergeTree 引擎支持对分区进行管理。分区管理可以根据时间范围、日期、月份等策略进行，以实现数据的有效存储和查询。以下是管理 MergeTree 表分区的基本操作：

创建带有分区的 MergeTree 表

和上面一样创建带有分区的 MergeTree 表，指定分区键和分区策略：

CREATE TABLE IF NOT EXISTS tb_metric(
    timestamp DateTime,
    value Float64
) ENGINE = MergeTree()
ORDER BY (timestamp)
PARTITION BY toYYYYMM(timestamp);

添加新分区

当数据到达新的时间范围时，需要为表添加新分区。ClickHouse 提供了 ALTER TABLE ... ATTACH PARTITION 语句来添加新分区：

ALTER TABLE your_table ATTACH PARTITION 202312;

删除旧分区

当不再需要某个时间段内的数据时，可以使用 ALTER TABLE ... DETACH PARTITION 语句删除旧分区：

ALTER TABLE your_table DETACH PARTITION 202301;

查询现有分区

要查看表中的所有分区，可以执行以下查询显示名为 tb_metric 的表的所有分区信息：

SELECT partition_id, partition
FROM system.parts
WHERE table = 'tb_metric';

合并分区

如果需要将两个分区合并为一个较大的分区以优化性能，可以使用 ALTER TABLE ... FREEZE PARTITION 来合并分区：

ALTER TABLE tb_metric FREEZE PARTITION 202310, 202311;

合理管理分区对于 ClickHouse 中处理大量时序数据是非常重要的，可以帮助优化查询性能和数据存储。

5. ClickHouse 与 Spring Boot 集成

ClickHouse JDBC 连接

<dependency>
    <groupId>ru.yandex.clickhouse</groupId>
    <artifactId>clickhouse-jdbc</artifactId>
    <version>0.3.1</version> <!-- 替换为最新的 ClickHouse JDBC 版本 -->
</dependency>

配置数据源

spring.datasource.url=jdbc:clickhouse://your_clickhouse_host:port/default
spring.datasource.username=your_username
spring.datasource.password=your_password
spring.datasource.driver-class-name=ru.yandex.clickhouse.ClickHouseDriver

示例代码

import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.stereotype.Repository;
import java.util.List;

@Repository
public class ClickHouseDAO {

    private final JdbcTemplate jdbcTemplate;

    public ClickHouseDAO(JdbcTemplate jdbcTemplate) {
        this.jdbcTemplate = jdbcTemplate;
    }

    public List<Object[]> executeQuery(String query) {
        return jdbcTemplate.query(query, (rs, rowNum) -> {
            // 处理结果集，返回数据
            // 例如：return new Object[] { rs.getString("column1"), rs.getInt("column2") };
        });
    }

    public int executeUpdate(String query) {
        return jdbcTemplate.update(query);
    }
}

import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;

@RestController
public class ClickHouseController {

    private final ClickHouseDAO clickHouseDAO;

    public ClickHouseController(ClickHouseDAO clickHouseDAO) {
        this.clickHouseDAO = clickHouseDAO;
    }

    @GetMapping("/query")
    public List<Object[]> executeQuery() {
        String query = "SELECT * FROM your_table";
        return clickHouseDAO.executeQuery(query);
    }

    @GetMapping("/update")
    public int executeUpdate() {
        String query = "INSERT INTO your_table (column1, column2) VALUES ('value1', 123)";
        return clickHouseDAO.executeUpdate(query);
    }
}

或者使用mybatis的动态数据源

mysql的数据源配置：

# mysql 个性化配置， 不同的环境，需要配置不同的链接信息，只需要将这段信息复制到具体环境的配置文件中进行修改即可
spring:
  datasource:
    dynamic:
      #默认数据源
      primary: mysql
      #严格匹配数据源,默认false. true未匹配到指定数据源时抛异常,false使用默认数据源
      strict: false
      datasource:
        mysql:
          driver-class-name: com.mysql.cj.jdbc.Driver
          url: jdbc:mysql://192.168.101.34:3306/refiner_dev?serverTimezone=CTT&characterEncoding=utf8&useUnicode=true&useSSL=false&autoReconnect=true&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true&allowPublicKeyRetrieval=true
          username: root
          password: MySQL@123

ck的数据源配置：

spring:
  datasource:
    dynamic:
      datasource:
        clickhouse:
          driver-class-name: ru.yandex.clickhouse.ClickHouseDriver
          url: jdbc:clickhouse://192.168.101.35:8123/test
          username: default
          password: clickhouse

当需要使用clickhouse进行数据库表查询时，在service类或者mapper上指定@DS注解就可以用mybatis操作mysql一样使用ck了。

6. 注意事项和常见问题

        在使用 ClickHouse 时，以下是一些注意事项和可能遇到的常见问题：

注意事项

  • 数据模型设计： ClickHouse 适用于大规模数据分析和处理，设计数据模型时需考虑存储引擎、分区和数据类型，以最大程度地利用其性能。

  • 硬件和性能： ClickHouse 需要大量的内存和计算资源来执行查询，因此在部署时需要考虑硬件资源。

  • 数据复制和备份： 定期进行数据备份，并考虑数据的冗余备份，以防止数据丢失。

  • 数据导入和导出： 使用优化的方法将数据导入到 ClickHouse 中，并选择合适的格式进行数据导出。

  • 索引和优化： ClickHouse 使用不同的索引类型来优化查询，了解索引的使用方法可以提高查询性能。

  • 版本和更新： 定期更新 ClickHouse 到最新版本，以获得新的功能、性能改进和 bug 修复。

常见问题

  • 性能问题： 性能问题可能与查询的复杂性、硬件资源不足、数据模型设计不佳或查询优化有关。针对性能问题，需要对查询进行优化，增加硬件资源或重新设计数据模型。

  • 数据丢失： 当 ClickHouse 节点出现故障或网络问题时，可能会导致数据丢失。为了避免数据丢失，需要实施数据备份和冗余策略。

  • 连接问题： 网络故障或配置错误可能导致 ClickHouse 无法连接或无法访问。检查网络配置、防火墙设置以及连接字符串是否正确。

  • 内存问题： ClickHouse 在处理大量数据时可能会出现内存问题。通过配置适当的内存参数和优化查询来解决内存问题。

  • 版本兼容性： 当迁移到新版本的 ClickHouse 时，可能会遇到与之前版本不兼容的问题。在升级之前，查阅官方文档以了解可能的不兼容性变化。

  • 异常处理： ClickHouse 查询中可能会出现各种异常，如语法错误、连接超时等。编写健壮的代码来处理这些异常情况，确保应用程序的稳定性和可靠性。

结语

        clickHouse 是一个强大的列式分布式数据库管理系统，具有出色的性能、高效的列存储、适应大规模数据处理等特点。它在数据分析、时序数据处理和大规模数据查询方面表现优异。通过其优异的压缩算法和并行查询能力，ClickHouse 能够快速处理大规模数据，并支持复杂的查询和分析操作。其分布式架构使其能够轻松扩展以适应不同规模和需求的数据。

        在使用 ClickHouse 时，需要考虑数据模型设计、分区策略、数据导入和查询优化等方面。针对特定的业务场景，可以选择合适的存储引擎和优化策略，以实现更高效的数据处理和查询操作。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/269253.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

电路设计（6）——彩灯控制器的multism仿真

电路设计（6）——彩灯控制器的multism仿真

1.功能设计 使用两个运算放大器、两个计数器芯片&#xff0c;实现了彩灯的循环移位控制。 整体原理图如下所示&#xff1a; 运行效果截图如下&#xff1a; 小灯分为两组&#xff0c;一组十个&#xff0c;在脉冲的驱动下&#xff0c;轮流发光&#xff01; 2.设计思路 两个运放…
阅读更多...
视觉学习（4） —— 添加地址传递数据

视觉学习（4） —— 添加地址传递数据

Modbus Slave 选择一个地址右键&#xff0c;选择发送的数据类型 视觉软件 一、添加地址 当地址为100时&#xff0c;先将首地址改为100&#xff0c;第0个地址为100&#xff0c;第1个地址为101&#xff0c;往后累加 若想使用100—150的地址&#xff0c;即首地址为100&#xff…
阅读更多...
基于Java SSM框架实现电子药品商城系统项目【项目源码+论文说明】

基于Java SSM框架实现电子药品商城系统项目【项目源码+论文说明】

基于java的SSM框架实现电子药品商城系统演示 摘要 随着社会的发展&#xff0c;计算机的优势和普及使得电子商城系统的开发成为必需。电子商城系统主要是借助计算机&#xff0c;通过对信息进行管理。减少管理员的工作&#xff0c;同时也方便广大用户对个人所需信息的及时查询以…
阅读更多...
程序设计语言与语言处理程序基础

程序设计语言与语言处理程序基础

内容概要 编译与解释 正规式&#xff08;重点&#xff09; 例题 答案&#xff1a;D&#xff0c;C 有限自动机 例题 答案&#xff1a;C 表达式&#xff08;重点&#xff09; 把表达式构造成一颗树&#xff0c;然后再根据树的前序&#xff0c;中序&#xff0c;后序遍历来得出答…
阅读更多...
递归如何书写？

递归如何书写？

目录 第一步&#xff1a;首先你分析问题&#xff0c;要有递归的思路&#xff0c;知道要递归什么来解决问题。 第二步&#xff1a;先按照思路&#xff08;第一层&#xff09;写出函数的定义与函数体 第三步&#xff1a;根据函数的定义与函数体进一步确定需要的参数 第四步&a…
阅读更多...
golang基于window下实现文件遍历(效率高于filepath.Wlak)

golang基于window下实现文件遍历(效率高于filepath.Wlak)

golang基于window下实现文件遍历(效率高于filepath.Wlak) package mainimport ("fmt""os""path""path/filepath""syscall""time""unsafe" )const MAX_PATH 260type FILETIME struct {dwLowDateTime …
阅读更多...
html之为什么使用表单，常用表单元素使用?

html之为什么使用表单，常用表单元素使用?

文章目录 一、为什么使用表单呢&#xff1f;二、常用表单元素使用三、总结 一、为什么使用表单呢&#xff1f; 为什么使用表单呢&#xff0c;使用表单是为了更好的收集用户数据&#xff0c;并且安全 二、常用表单元素使用 1、password密码框 密码框&#xff1a;会隐藏数据&a…
阅读更多...
06.微服务组件 Gateway

06.微服务组件 Gateway

1、Gateway 简介 在SpringCloud中网关的实现包括两种&#xff1a; Zuul是基于Servlet的实现&#xff0c;属于阻塞式编程。SpringCloudGateway是基于Spring5中提供的WebFlux心属于响应式编程的实现&#xff0c;具备更好的性能。 2、搭建网关服务 步骤一&#xff1a;创建gatewa…
阅读更多...
TwIST算法MALTLAB主程序详解

TwIST算法MALTLAB主程序详解

TwIST算法MALTLAB主程序详解 关于TwIST算法的具体原理可以参考&#xff1a; 链接: https://ieeexplore.ieee.org/abstract/document/4358846 链接: https://blog.csdn.net/jbb0523/article/details/52193209 该算法的MATLAB源代码&#xff1a; 链接: http://www.lx.it.pt/~bi…
阅读更多...
Unity查安卓Native Crash的方法，定位SO报错函数

Unity查安卓Native Crash的方法，定位SO报错函数

需要用到两个工具Il2CppDumper和IDA_Pro&#xff0c;网上可以下到对应的软件 可以看到报错的位置是libil2cpp.so 0000000000AFF820 接下来要做的事情就是找到0000000000AFF820对应的函数是哪个 解包 Il2CppDumper解析so文件和符号表&#xff0c;查看对应的函数表 把apk后缀…
阅读更多...
Cloudstack多个管理服务器节点

Cloudstack多个管理服务器节点

https://docs.cloudstack.apache.org/en/4.18.0.0/adminguide/reliability.html 参考翻译&#xff1a; 代理上支持多个管理服务器 在具有多个管理服务器的Cloudstack环境中&#xff0c;可以根据算法配置代理&#xff0c;将其连接到哪个管理服务器。这对于内部负载均衡器或高可…
阅读更多...
大数据----MapReduce实现统计单词

大数据----MapReduce实现统计单词

目录 一、简介二、实现单词统计数据准备编程MapReduceJob 三、运行四、结果 一、简介 Hadoop MapReduce 是一个编程框架&#xff0c;它可以轻松地编写应用程序&#xff0c;以可靠的、容错的方式处理大量的数据(数千个节点)。 正如其名&#xff0c;MapReduce 的工作模式主要分…
阅读更多...
docker部署mysql主主备份 haproxy代理（swarm）

docker部署mysql主主备份 haproxy代理（swarm）

docker部署mysql主主备份 haproxy代理&#xff08;swarm&#xff09; docker部署mysql主主备份 docker部署mysql主主备份&#xff08;keepalived&#xff09;跨主机自动切换 docker部署mysql主主备份 haproxy代理&#xff08;swarm&#xff09; 1. 环境准备 主机IPnode119…
阅读更多...
28、清华大学脑机接口实验组SSVEP数据集：通过视觉触发BCI[飞一般的赶脚！]

28、清华大学脑机接口实验组SSVEP数据集：通过视觉触发BCI[飞一般的赶脚！]

前言&#xff1a; 哈喽&#xff0c;最近对清华大学脑机接口的数据进行了尝试&#xff0c;输入到了DL模型中&#xff0c;以下是本人对于清华BCI数据的个人见解。 数据地址&#xff1a; 清华大学脑机接口研究组 (tsinghua.edu.cn) 打开网站可以看到有很多个数据&#xff0c;官…
阅读更多...
洛谷——【数据结构1-2】二叉树

洛谷——【数据结构1-2】二叉树

文章目录 题目【深基16.例1】淘汰赛题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1基本思路&#xff1a;代码 【深基16.例3】二叉树深度题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1基本思路&#xff1a;代码 [USACO3.4] 美国血统 American Heritage题目描…
阅读更多...
小城交通大转型！苏州金龙助力杭州建德公交开新格局

小城交通大转型！苏州金龙助力杭州建德公交开新格局

新安江畔&#xff0c;密林丛生&#xff0c;一辆辆绿色巴士穿梭而行&#xff0c;杭州市首款纯电动无站立位公交车正在试运行中。 12月19日&#xff0c;杭州建德&#xff0c;23辆苏州金龙海格牌6米无站立位新能源纯电动公交车正式交付建德市公共交通运输有限公司。自此&#xff…
阅读更多...
【AI】使用阿里云免费服务器搭建Langchain-Chatchat本地知识库

【AI】使用阿里云免费服务器搭建Langchain-Chatchat本地知识库

书接上文&#xff0c;由于家境贫寒的原因&#xff0c;导致我本地的GPU资源无法满足搭建Langchain-Chatchat本地知识库的需求&#xff0c;具体可以看一下这篇文章&#xff0c;于是我只能另辟蹊径&#xff0c;考虑一下能不能白嫖一下云服务器资源&#xff0c;于是去找网上找&…
阅读更多...
2023航天推进理论基础考试划重点（W老师）绪论固体推进剂

2023航天推进理论基础考试划重点（W老师）绪论固体推进剂

1、推进系统的分类&#xff1a; 按工作原理分&#xff0c; 直接反作用发动机(喷气发动机) 火箭发动机、组合发动机、冲压发动机、涡轮喷气发动机、涡轮风扇发动机 间接反作用发动机 活塞式发动机、涡轮螺旋桨发动机、涡轮轴发动机、航空电动机 2、后面不细讲的火箭发动机要…
阅读更多...
Adobe软件打开后设置默认页面方式和默认鼠标方式

Adobe软件打开后设置默认页面方式和默认鼠标方式

PDF文件打开后是默认显示&#xff0c;与显示器比例不协调&#xff0c;或大或小&#xff0c;总是需要手动调节阅读方式&#xff0c;解决方法如下&#xff1a; Adobe软件中可以设置默认页面方式&#xff0c;具体步骤如下&#xff1a; 编辑 (Edit)-首选项(Preferences)-辅助工具…
阅读更多...
车牌识别系统的设计matlab图像处理

车牌识别系统的设计matlab图像处理

wx供重浩&#xff1a;创享日记 对话框发送&#xff1a;车牌23 获取完整论文报告源码源程序文件 一、 摘要 随着公路逐渐普及&#xff0c;我国的公路交通事业发展迅速&#xff0c;所以人工管理方式已经不能满着实际的需要&#xff0c;微电子、通信和计算机技术在交通领域的应用…
阅读更多...
最新文章

Copyright @ 2022~2023