StarRocks实战——携程火车票指标平台建设

目录

前言

一、早期OLAP架构与痛点

二、指标平台重构整体设计

2.1 指标查询过程

2.1.1 明细类子查询

2.1.2 汇总类子查询

2.1.3 “缓存”

2.2 数据同步

三、Starrocks使用经验分享

3.1 建表经验

3.2 数据查询

3.3 函数问题

四、查询性能大幅提升

五、 后续优化方向


   原文大佬介绍的这篇火车票指标平台建设有借鉴意义,现摘抄下来用作沉淀学习。如有侵权,请告知~

前言

    携程火车票事业群运营着铁友、携程火车票和去哪儿火车票等重要的业务和品牌,目前正在积极地拓展海外市场。火车票的指标平台旨在为业务人员提供便捷的指标查询服务,让业务人员能够快速灵活的获得这些业务和品牌相关的指标数据。

一、早期OLAP架构与痛点

  火车票事业群的业务涵盖了火车票、国际火车票、汽车票(含船票)等产品,错综复杂的业务也产生了多种多样订单和行为数据,通过对这些数据的分析可以揭示当前业务的发展现状,也可以为未来的发展提供方向指引。

  早些时候事业群开发过一套指标平台,根据不同的指标类型使用了3套数据库引擎,分别是ClickHouse,Apache Kylin (以下简称 Kylin)和 Presto,如下图所示:

   在旧版的指标平台中,为了提升查询性能使用了ClickHouse,Kylin和Presto等多种存储和查询引擎,数据层混合使用了明细层和轻度汇总层,由此带来的问题有:

  • 指标数据源混乱,容易造成口径不一致,维护成本大;
  • 学习成本高,BI 同学录入指标不仅需要了解不同存储的区别,还需要掌握不同引擎的数据同步方法
  • 架构不合理,指标平台将查询的中间结果通过jdbc写入mysql后再到服务端用java做汇总计算,处理链路过长,整体性能非常差,导致部分指标查询需要半小时以上的等待时间。

  鉴于这些原因,无论是用户(运营人员)还是指标开发人员,都面临着使用极差的问题,在这种情况下,决定使用基于一种查询速度快和使用简单的分布式数据库来重构指标平台。

二、指标平台重构整体设计

   重构指标平台首先考虑的是将多套存储合并成一套, 虽然ClickHouse 和 Kylin 已经足够强大,但是不足也很明显。比如 ClickHouse 的 join 性能不尽如人意,并发性能差,大量的查询很容易将 CPU打满;Kylin 是一个分析引擎,不支持增删改操作,修改数据需要重新导入,修改 schema 需要重建 Cube(ETL成本很高),其次 Kylin需要预先创建模型加载数据到 Cube 后才可进行查询,使用上需要具备一定的数仓知识。

于是将目光投向 StarRocks,StarRocks 是一款全场景的MPP数据库,相比ClickHouse等具有以下优点:

  • 性能强悍:查询速度快,多张亿级表Join也能秒级响应;
  • 使用简单:兼容 MySQL 协议,用户使用门槛低;
  • 支持高并发:满足大量用户同时查询;
  • 支持多种数据模型:明细、聚合、更新和主键模型,可灵活配置ETL任务
  • 支持物化视图:可以自动路由到命中的物化视图,用户无感知;
  • 支持多种导入方式:StreamLoad、SparkLoad、RoutineLoad,便于实时离线快速导入StarRocks,流批一体。

因此,重构后的结构如下:

   重构后的指标平台只有一个数据库,查询时利用StarRocks内部ETL将明细数据转存到临时表,后续的汇总从临时表查询,避免了反复扫描大表。

2.1 指标查询过程

  当一个指标查询请求发起时,由于指标属性和用户想查看的信息不同,根据查询参数将查询拆解成若干子查询,子查询分为明细和汇总两类。

2.1.1 明细类子查询

1)可累加的指标查询时间范围内的明细数据,以及去年和2019年同期的明细数据,这部分的明细会存储到临时表,后续查询都从这张表扫描,以避免对大表的频繁扫描;该表每天生成T+1 分区,防止增加分区失败导致当天的指标查询无法进行。

-tarpresqls "
ALTER TABLE ${table} ADD PARTITION if not exists p${partition}
VALUES [('${zdt.addDay(1).format("yyyy-MM-dd")}'),('${zdt.addDay(2).format("yyyy-MM-dd")}'));
" \

2)如果指标不可累加或 count(distinct)类,仅存储查询时间范围内的明细,不存储用户计算同环比的明细;

3) 当多个指标同时对相同维度进行查询时,将多个指标的数据Join后以宽表模式存储。

2.1.2 汇总类子查询

  这一类 sql 主要在明细的基础上根据用户的需要做相应的计算,相比旧版本在服务内部用java做汇总计算,这里全部借助了StarRocks,主要的汇总功能有:

  • a.指标卡汇总和同环比;
  • b.折线图和维度下钻;

2.1.3 “缓存”

   多维度特别是包含出发/到达城市组合的查询数据量非常大,耗时较长,同时避免相同的查询反复访问大表,我们增加了“缓存”功能,实现原理如下:

  • a.记录初次查询的指标信息,主要包括维度和维度值,时间范围,指标原始计算sql的md5值,以及是否查询成功;
  • b. 新的查询进入后,会在当天的记录中查找是否存在相同的查询。如果存在相同的查询,使用唯一的查询标识(groupkey)将当前查询指向上次已经执行过的查询。这样,可以直接读取上次查询的详细数据和汇总结果,从而提高查询效率。

    因此这里的缓存非真实意义上的缓存,而是直接调用相同查询的结果。

2.2 数据同步

  首先梳理了旧平台的数据源,从300+指标的逻辑sql中提取了公共的dwd和dim表51张,并将这些数据统一同步至StarRocks,而对于一些指标使用的dwd表只出现一次的,依然将dws同步过来。

  对于不同的hive表,使用了不同的StarRocks建表模型和同步方式,有以下几种:

  • a.全量同步:主要针对一些数据量小的表,例如 shareout_trn.dim_ibu_alliance,大小为 608k;
  • b.增量分区同步:每天同步 hive 表中 T-1 的分区,各分区之间独立;
  • c.更新同步:火车票 BU 的一些订单数据由于涉到预售和订单状态的变更,变更的数据时间跨度比较大,将跨度范围内的数据全部更新代价比较高,因此使用更新模型。

   数据导入更新模型直接需要计算T-1 和 T-2 分区有差异的数据,这里将所有字段使用concat_ws('|',***)拼接后取 hash值,之后Join找到hash值不一致的数据。

模型KEY设置:
UNIQUE KEY(`order_id`)
取两天有差异的数据:
select
t1.* 
from
(select … where d='${cur_day}') as t1
left join
(select … where d=’${pre_day}’) as t2
on t1.business_pk_id=t2.business_pk_id
where t1.hash_code!=t2.hash_code or t2.order_id is null
  • d. 每天同步当月数据:如国际后的访问数据量较小,每天一个分区会导致StarRocks 集群有很多小的bucket,分桶数太多会导致元数据压力比较大,数据导入导出时也会受到一些影响,因此按月设置分区,每天同步当月的数据。
时间范围:
startdate='${zdt.format("yyyy-MM-01")}'
endDate='${zdt.add(2,1).format("yyyy-MM-01")}'
表设计:
PARTITION BY RANGE(dt)(Start("2019-01-01") End("2023-03-01") Every(Interval 1 month))
DISTRIBUTED BY HASH(分桶字段) BUCKETS 桶的数量
PROPERTIES (
"dynamic_partition.enable" = "true",
"dynamic_partition.prefix" = "p",
"dynamic_partition.time_unit" = "month",
"dynamic_partition.end" = "1");
datax配置:
-temporary_partitions "tp${partition}" \
-tarpresqls "
ALTER TABLE ${table} DROP TEMPORARY PARTITION if exists tp${partition};
ALTER TABLE ${table} ADD PARTITION if not exists p${partition} VALUES [('${startdate}'),('${endDate}'));
ALTER TABLE ${table} ADD TEMPORARY PARTITION tp${partition} VALUES [('${startdate}'),('${endDate}'));
" \
-tarpostsqls "
ALTER TABLE ${table} REPLACE PARTITION (p${partition}) WITH TEMPORARY PARTITION (tp${partition});"

    此外对于 UBT类数据,数据量及非常大,并且常见用于查询PV,UV 和停留时长等比较固定的场景,于是我们从中抽取出三张表:

  • ubt_for_pv: 每天按维度汇总 count(uid),每天数据大小只有几十 K;
  • ubt_for_duration: 每天按维度汇总 sum(duration),如需要计算平均停留时长除以对应的 pv 即可;
  • ubt_for_uv: 每天按维度去重,尽最大可能减少数据量。

     最后鉴于上游表的迭代可能带来的数据的不稳定,对需要同步的表的数据量做了监控,若发现当天的数据量波动超过3sigma,监控任务自动发出邮件告警,这些 job同步都在15 分钟内完成。

三、Starrocks使用经验分享

   在指标平台重构的过程中也遇到了一些问题,与数据和查询相关的有以下几个:

3.1 建表经验

   首先是buckets设置不合理,多数是设置过多,通常一个桶的数据量在500MB~1GB 为佳,个别表设置的桶数量太少,导致查询时间长;其次是分区不合理,有些表没有设置分区,有些设置的分区后每个分区数据量很小,优化建议是将不常访问的数据按月分区,经常访问的数据按日分区。

3.2 数据查询

   由于指标的查询sql之前是针对不同引擎编写,很多引擎是没有索引的,比如Presto。StarRocks有丰富的索引功能,统一至StarRocks 希望利用索引加速查询,因此过滤条件中最好不要加函数,比如select c1 from t1 where upper(employeeid) = upper(' s1')修改成select c1 from t1 where employeeid in(upper(' s1'), lower(' s1'))。

 另外很多sql没有使用分区,在StarRocks中将会全表扫描造成资源浪费

3.3 函数问题

   StarRocks的split函数结果的下标从1开始,而 sparksql 等引擎对应的是从 0 开始,导致 sql 在 StarRocks执行查询的时候不报错但是结果错误。

select split('a,b,c',',')[0] StarRocks查询结果为空,其他引擎查询结果为‘a’
select split('a,b,c',',')[1] StarRocks查询结果为‘a’,其他引擎查询结果为‘b’

四、查询性能大幅提升

    指标平台的重构主要是为了解决查询性能问题,并且重构后也基本达到了预期。重构之后,复杂查询需要数分钟的时间才能完成,特别对于火车票相关指标,诸如出票票量指标,如果带上出发和到达城市查询,可能需要等待 30 分钟以上,并且查询失败率较高。而在重构后,查询时间大大缩短,复杂查询在 10s 左右,并且 P99 在 2 秒之内,因此整体体验得到显著提升,用户查询次数相比改造前也有了翻倍的增长。

   此外,现在新指标系统还丰富了更多功能,比如同环比和维度下钻计算。得益于StarRocks的并发能力,可以在生成子查询SQL 后并发提交,从而大幅度减少响应时间,使得用户在进行维度下钻时几乎无需等待即可快速获取所需数据。

五、 后续优化方向

1)目前,UV 类的 Count Distinct 查询是基于存储了大量明细数据的方式进行的。然而,对于部分指标,可以尝试使用Bitmap 来减少不必要的明细数据存储空间,并且更重要的是可以提高查询速度。在接下来的工作中,计划尝试这种方案,以进一步优化 UV 类指标的查询性能。

2)对于全量或增量更新的表使用聚合模型,聚合模型会对导入后具有相同维度的数据做预聚合,查询的时候减少扫描数据的行数达到提升查询速度的目的。

3)当前的指标平台计算过程将所需的数据写入临时表,后续改成使用物化视图,在达到同样效果的情况下减少了复杂度

参考文章:

干货 | 提速10倍+,StarRocks 指标平台在携程火车票的实践

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/515501.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode575——分糖果

题目链接:. - 力扣(LeetCode) 这道题比较简单,但我还是花费了将近四个小时的时间去解答,AC的那一刻,终于全身舒畅,这道题的思路就是先求出糖果的种数,然后我们从题中可以得出&#x…

PMP备考需要多长时间?

PMP备考需要多久?50天就能顺利学完 PMP考试备考时间需要看自己的工作安排了,学习周期要恰到好处,太长的话可能导致边学边忘,根本来不及总结冲刺;太短的话又会造成学习内容掌握不稳定,导致考试的时候发挥失…

JavaScript(一)基础

文章目录 一、JS介绍JavaScript是什么JavaScript书写位置JavaScript的注释输入输出语法字面量 二、变量变量是什么变量基本使用变量的本质变量命名规则与规范变量拓展-数组var与let的区别 三、常量四、数据类型数据类型检测数据类型数据类型转换隐式转换显式转换 简单运算符断点…

3.冒泡排序

冒泡排序 基本思想:每次比较两个相邻的元素 如果它们的顺序错误就把它们交换过来 重点:交换 时间复杂度为:O(n^2)(平均情况、最坏情况) 最优情况:输入的数组已经是完全有序的时候 冒泡排序只需要进行一…

day11 java不同对象的关联与内存分析 JavaBean用途及讲解 import导入包

不同对象的关联与内存分析 内存图: 对象的属性是另一个对象时,在堆内存内该属性对应的值是另一个对象的首地址(指向另一个堆内存内另一个对象),两对象建立了联系,可以根据箭头间接调用。 JavaBean…

基于SpringBoot + Vue实现的员工绩效考核管理系统设计与实现+毕业论文+PPT+任务书+搭建视频

介绍 系统包含员工和管理员两个角色 管理员: 部门管理:负责创建、修改和删除部门,以及为部门设置权限和角色。 岗位管理:定义和管理岗位信息,包括添加、修改和删除岗位,以及设置岗位的职责和要求 员工…

一、企业级架构之LNMP

一、LNMP 概述 1、LNMP之间的关系: LNMP Linux Nginx MySQL PHP 2、配置LNMP服务器: (1) 克隆一台centos7虚拟机,修改 IP 地址 和 UUID 编号。 IP 为 10.1.1.10,UUID 修改后三位。 (2) 设置主机名称,绑定IP地…

计算机组成原理-10-控制单元的设计

10. 控制单元的设计 文章目录 10. 控制单元的设计10.1 组合逻辑设计10.1.1 CU外特性10.1.2 微操作的节拍安排10.1.3 组合逻辑设计步骤 10.2 微程序设计10.2.1 微程序设计思想10.2.2 微指令格式10.2.3 毫微程序设计10.2.4 微程序设计举例 完结撒花 本笔记参考哈工大刘宏伟老师的…

最新社交相亲系统源码PHP

最新社交相亲系统源码PHP 安装环境: php7.2 mysql 5.7 框架: 后端thinkphp6 前端:jquery layui PC 移动端响应式 线上案例:https://cjr.oemsun.com/ 主要页面及功能预览 首页 相亲资料详情页 红娘跟进记录 海报、一键复制分…

Cisco ACI Simulator 6.0(5h) - ACI 模拟器

Cisco ACI Simulator 6.0(5h) - ACI 模拟器 Application Centric Infrastructure (ACI) Simulator Software 请访问原文链接:https://sysin.org/blog/cisco-acisim-6/,查看最新版。原创作品,转载请保留出处。 作者主页:sysin.o…

【核弹级安全事件】XZ Utils库中发现秘密后门,影响主要Linux发行版,软件供应链安全大事件

Red Hat 发布了一份“紧急安全警报”,警告称两款流行的数据压缩库XZ Utils(先前称为LZMA Utils)的两个版本已被植入恶意代码后门,这些代码旨在允许未授权的远程访问。 此次软件供应链攻击被追踪为CVE-2024-3094,其CVS…

卡奥斯工业互联网平台分析

一、 背景 卡奥斯是海尔推出的具有中国自主知识产权、全球首家引入用户全流程参与体验的工业互联网平台。其核心是大规模定制模式,通过持续与用户交互,将硬件体验变为场景体验,将用户由被动的购买者变为参与者、创造者,将企业由原…

Vue3配置router路由步骤

Vue3配置router路由步骤 首先创建一个vue3的项目 先检查一下router的版本,可以在pakage.json里面查看,也可以你直接在终端输入 npm list vue-router如果版本比较低的话,先升级一下 vue3的话,用以下命令 npm install vue-route…

C语言TCP服务器模型 : select + 多线程与双循环单线程阻塞服务器的比较

观察到的实验现象: 启动三个客户端: 使用双循环阻塞服务器:只能accept后等待收发,同时只能与一个客户端建立连接,必须等已连接的客户端多次收发 明确断开后才能与下个客户端连接 使用IO多路复用select:可以同时接收所有的连接请求,并且连接状态一直是存活的,直到客户端关闭连…

Kubesphere 自动化部署失败报错

Kubesphere 自动化部署在 push tag 阶段失败报错 git push http://****:****github.com/****/devops-java-sample.git --tags --ipv4 remote: Support for password authentication was removed on August 13, 2021. remote: Please see https://docs.github.com/get-started/g…

Netty是什么

一、Netty介绍 1、Netty是一个异步的、基于事件驱动的网络应用框架,用以快速开发高性能、高可靠性的网络IO程序。 2、Netty主要针对在TCP协议下,面向Clients端的高并发应用,或者Peer-to-Peer场景下的大量数据持续传输的应用。 3、Netty本质是…

银行数字化转型导师坚鹏:银行数字化转型给分行带来的8大价值

银行数字化转型给分行带来的8大价值 银行数字化转型对不仅对总行产生了深远影响、给总行带来了新质生产力,对分行也会产生重要价值,银行数字化转型导师坚鹏从以下8个方面进行详细分析,相信能够给您带来重要启发,从而加速银行分行…

【并发编程系列】使用 CompletableFuture 实现并发任务处理

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

[C#]OpenCvSharp利用MatchTemplate实现多目标匹配

【效果展示】 原图 模板图 匹配结果: 【实现部分代码】 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Threading.Tasks; using…

RabbitMQ3.x之九_Docker中安装RabbitMQ

RabbitMQ3.x之_Docker中安装RabbitMQ 文章目录 RabbitMQ3.x之_Docker中安装RabbitMQ1. 官网2. 安装1 .拉取镜像2. 运行容器 3. 访问 1. 官网 rabbitmq - Official Image | Docker Hub 2. 安装 1 .拉取镜像 docker pull rabbitmq:3.13.0-management2. 运行容器 # latest Rabb…