一.概括
1.地域(Region)
地域(Region)指腾讯云数据仓库 TCHouse-C 物理服务器所在的地理区域。腾讯云不同地域之间网络完全隔离,购买后不能更换。(地域一旦选定,购买后无法更改。)
2.分片(Shard)
腾讯云数据仓库 TCHouse-C 将海量数据分散存储到多个节点,每个节点只存储和处理海量数据的一部分。单副本时,一个分片对应一个节点,双副本时,一个分片对应两个节点。
3.高可用
高可用模式下,每个分片具有两个副本,当某个节点出问题时,由其副本继续工作,保证集群高可用。 (生产场景建议选择高可用,非高可用模式下每个分片仅有一个副本,此副本不可用时,则整个集群不可用,不建议生产环境使用)
4.副本(Replica)
为了在异常情况下保证数据的安全性和服务的高可用性,腾讯云数据仓库 TCHouse-C 将数据冗余存储在两个节点上,两个节点的数据互为副本。
5.架构图
6.MPP 框架
通常指的是"Massively Parallel Processing"(大规模并行处理)框架。
二.应用场景
1.用户行为分析
在网站、App 和游戏中,对用户的点击、时长等使用数据进行收集,导入到腾讯云数据仓库 TCHouse-C 中,构建用户特征分析大宽表。借助腾讯云数据仓库 TCHouse-C 的优异查询性能,分析系统进行多维度、多模式分析时,可以在亚秒级内响应,快速分析出用户行为特征和规律,为精准营销和会员转化等业务提供强力支持。
2.企业经营分析
在企业经营分析中,把规模庞大的业务数据导入到腾讯云数据仓库 TCHouse-C ,对数亿记录或更大规模的大宽表和数百维度的查询,都能在亚秒级内响应,得到查询结果。让客户随时进行个性化统计和不间断的分析,辅助商业决策。腾讯云数据仓库 TCHouse-C 的查询效率数倍于传统数据仓库,而且扩展灵活,按需扩容,很好的满足大数据时代下企业数据仓库对高性能、低成本、易扩展的需求。
三.监控资源
Prometheus 监控
四.使用 TCHouse-C (连接集群)
1.文件导入-传数据文件到云存储
将数据文件导入到 TCHouse-C 集群并查看已导入的数据。提前准备好数据文件 account.csv,文件内容如下:
AccountId, Name, Address, Year
1, 'GHua', 'WuHan Hubei', 1990
2, 'SLiu', 'ShenZhen Guangzhou', 1991
3, 'JPong', 'Chengdu Sichuan', 1992
2.连接集群
集群所在网段内选择一台云服务器(centos),在该云服务器内 下载 ClickHouse-client。
wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-client-20.7.2.30-2.noarch.rpm
wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-common-static-20.7.2.30-2.x86_64.rpm
3.安装客户端。
rpm -ivh *.rpm
4.通过 clickhouse-client 访问集群。
节点 IP 地址可以通过控制台查看,tcp 服务端口可以选择9000。
通过 clickhouse-client 访问集群。
节点 IP 地址可以通过控制台查看,tcp 服务端口可以选择9000。
clickhouse-client -u default --password your_password --host 192.168.1.100 --port 9000
5.http 端口可以选择8123,具体访问 IP 可在集群详情页集群访问地址(http)获取。
确认&查询集群上的引擎版本(在linux查看,非ck客户端)
echo "select version()=21.3.9.83" | curl 'http://xxx.xxx.xxx.xxx:8123/' --data-binary @-
echo "select version()" | curl 'http://xxx.xxx.xxx.xxx:8123/' --data-binary @-
6.查询系统 cluster
echo "select * from system.clusters" | curl 'http://xxxxxxx:8123/' --data-binary @-
五.创建数据表
使用 clickhouse-client 连接集群,创建数据库和表。
高可用模式下数据库
六.集群扩容-水平扩容和垂直变配
垂直变配:操作 > 垂直变配。
Clickhosue 集群的垂直变配包括:计算节点规格升、降配,存储规格扩展;高可用集群的 ZK 节点规格升、降配,存储规格扩展。