StarRocks Friends 广州站精彩回顾

上周六,StarRocks & Friends 活动在羊城广州成功举行,社区的小伙伴齐聚一堂,共同探讨了 StarRocks 在业界的应用实践和湖仓一体等热门话题。

本文总结了技术交流活动的关键内容和视频资料,感谢社区每一位小伙伴的支持和参与,未来我们也会继续与大家分享更多优质的内容!

StarRocks & Friends 广州站精彩回顾

议题一:StarRocks 湖仓一体简介

讲师简介:郑志铨,StarRocks Active Contributor

StarRocks 3.0 产品能力全面升级,提供湖仓一体的数据分析能力,兼具数据湖与数据仓库的优势,能够更好地满足大数据时代对数据处理和分析的需求。

基于 StarRocks 3.0,用户可以将数据导入到 StarRocks 获得极速的分析性能,也可以采用 StarRocks 直接分析 Hive、Iceberg、Hudi 数据湖上的数据,免去 ETL 数据准备的负担,StarRocks 直接查询数据湖相比 Presto/Trino 能获得 3 倍以上的性能提升,开启 Local cache 情况下可以获得 6 倍以上性能提升;如果性能还不满足要求,可以基于数据湖上的表建立物化视图,借助 StarRocks 内表极致的查询性能加速。

 

当前多个社区用户已经在真实业务场景使用 StarRocks 湖仓一体架构,获得极致分析性能的同时,让数据的 Pipeline 更加简单。

StarRocks湖仓一体简介_哔哩哔哩_bilibili

议题二:StarRocks 在华润实时业务场景的应用实践

讲师简介:刘伟 华润数科技术总监
 

随着业务的不断发展和对数据实时性要求的提高,华润原有的 MPP 架构面临多方面的问题,如查询性能不足、高并发查询困难、离线数据同步不满足实时要求、难以实现增量数据聚合计算等。为了解决这些问题,选择了StarRocks& Flink CDC 构建开源实时数仓方案。

在一年多的使用中,StarRocks 在经销商系统、客户订单系统、云平台监控、供销存离线及实时报表、营销平台实时报表、一掌通实时战报等场景中均表现出色,整体的查询性能提高了 10+ 倍以上

未来,StarRocks 在华润会去承载更多的业务场景,基于 StarRocks 构建极速统一的数据分析体系,减少 OLAP 场景多套技术栈带来的维护成本。


StarRocks 在华润实时业务场景的应用实践_哔哩哔哩_bilibili

议题三:StarRocks 在网易邮箱数仓中的深入应用

讲师简介:黄贤康 网易邮箱资深数据开发工程师

经过 2 年多的努力,网易邮箱 TDM 数仓建设基本完成,目前有实时和离线两个 StarRocks 集群,互为镜像,负责离线和实时数据应用场景。涵盖了用户、设备、风控、行为、营销等多个业务领域的约数十个数据维度。单表数据量超10亿,日均处理查询请求 300W+,平均响应时间实时集群为 30ms,离线集群为 10s。

随着 TDM 标签数据应用场景的丰富,StarRocks 集群不仅需要处理来自数据分析端的复杂离线查询请求,还需应对后端业务的高频实时查询。多种业务共用一个集群容易导致资源竞争,为此,邮箱引入了 StarRocks 存算分离功能,有效地解决了不同业务间资源硬隔离的问题,并极大地提升了整个邮箱数仓的数据交互能力。

未来,网易邮箱将继续关注 StarRocks 湖仓一体化、简化和加速数据湖分析等方案,以应对业务领域拓展可能带来的不同的数据分析模式。

StarRocks 在网易邮箱数仓的中的深入应用_哔哩哔哩_bilibili

议题四:数势科技利用 StarRocks 打造轻量级数据资产平台

讲师简介:伍攀 数势科技大数据技术部负责人

StarRocks 拥有强大的生态能力,可以轻松接入各种数据源,快速构建实时分析平台。借助 StarRocks 生态和产品功能封装,数势科技成功将其应用于多种业务场景,包括指标平台、标签平台和统一查询服务等,从而极大地简化了数据接入成本。

以下是利用 StarRocks 构建的不同业务场景:

  1. 指标平台构建:通过对指标定义和数据的统一管理,构建统一的指标语义层,实现指标的快速灵活应用,保证指标在各处应用中的口径和数据的一致性,解决指标重复开发、口径不一致、开发响应周期长等一系列问题

  2. 标签平台构建:围绕标签体系管理、多类型标签加工能力(规则、函数、模型等)、标签生命周期管理、标签价值评估,支持业务人员通过简洁的功能操作,多标签组合条件圈人,极大程度提高圈人的灵活性、易用性,减少了业务侧对定制化圈人需求的依赖。

  3. 统一查询服务构建:通过打造统一服务平台,专注于简化配置生成统一数据服务能力。提供导航式和 SQL 式服务配置,能够快速实现基于 Rest 和 TCP 的数据服务,满足各种数据应用需求的快速实现。

上述应用场景充分展示了 StarRocks 强大的全场景分析能力,让数据分析应用变得更加简单和高效。

数势科技利用StarRocks打造轻量级数据资产平台_哔哩哔哩_bilibili

PPT资料下载

https://forum.mirrorship.cn/t/topic/7813

现场精彩瞬间

 

 

 

 

 

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/54565.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

《TCP IP网络编程》第十四章

第 14 章 多播与广播 14.1 多播 多播(Multicast)方式的数据传输是基于 UDP 完成的。因此 ,与 UDP 服务器端/客户端的实现方式非常接近。区别在于,UDP 数据传输以单一目标进行,而多播数据同时传递到加入(注…

【Uniapp 的APP热更新】

Uniapp 的APP热更新功能依赖于其打包工具 HBuilder,具体步骤如下: 1. 在 HBuilder 中构建并打包出应用程序 具体步骤: 1.点击发行,点击制作wgt包 2.根据需求修改文件储存路径和其他配置,点击确定 3.等待打包完成&a…

Day10-作业(SpringBootWeb案例)

作业1:完成课上预留给大家自己完成的功能 【部门管理的修改功能】 注意: 部门管理的修改功能,需要开发两个接口: 先开发根据ID查询部门信息的接口,该接口用户查询数据并展示 。(一定一定先做这个功能) 再开发根据ID…

iOS开发-格式化时间显示刚刚几分钟前几小时前等

iOS开发-格式化时间显示刚刚几分钟前几小时前等 在开发中经常遇到从服务端获取的时间戳,需要转换显示刚刚、几分钟前、几小时前、几天前、年月日等格式。 主要用到了NSCalendar、NSDateComponents这两个类 NSString *result nil;NSCalendarUnit components (NSC…

MTK system_server 卡死导致手机重启案例分析

和你一起终身学习,这里是程序员Android 经典好文推荐,通过阅读本文,您将收获以下知识点: 一、MTK AEE Log分析工具二、AEE Log分析流程三、system_server 卡死案例分析及解决 本文主要针对 Exception Type: system_server_watchdog , system_…

数据结构-链表结构-双向链表

双向链表 双向链表的定义 双向链表也叫双链表,与单向链表不同的是,每一个节点有三个区域组成:两个指针域,一个数据域 前一个指针域:存储前驱节点的内存地址后一个指针域:存储后继节点的内存地址数据域&a…

Beyond Compare和git merge、git rebase

文章目录 各个分支线将dev1 rebase进 dev2将dev1 merge进dev2 各个分支线 将dev1 rebase进 dev2 gitTest (dev2)]$ git rebase dev1local: 是rebase的分支dev1remote:是当前的分支dev2base:两个分支的最近一个父节点 将dev1 merge进dev2 gitTest (dev…

Qt应用开发(基础篇)——滑块类 Slider、ScrollBar、Dial

一、前言 滑块类QScrollBar、QSlider和QDial继承于QAbstractSlider,父类主要拥有最大值、最小值、步长、当前值、滑块坐标等信息,滑动的时候触发包含值数据变化、滑块按下、滑块释放等信号。键盘包括左/上和右/下箭头键通过定义的singleStep改变当前值&a…

物联网|可变参数的使用技巧|不一样的点灯实验|访问外设的寄存器|操作寄存器实现点灯|硬件编程的基本流程-学习笔记(11)

文章目录 可变参数的使用技巧第三阶段-初级实验Lesson5:不一样的点灯实验---学习I/O的输出 ☆点灯的电路图分析1 一起看看点灯的电路图Tip1:另一种点灯的电路Tip1:如何访问外设的寄存器2 STM32F407中操作GPIO的方法 通过直接操作寄存器实现点灯实验Tip1:硬件编程的基本流程 2代…

SpringBoot(九)jwt + 拦截器实现token验证

前面两篇文章的过滤器和拦截器,我们都提到过可以做诸如权限验证的事情。http/https是无状态的协议,当用户访问一个后端接口时,如何判断该用户有没有权限?当然,可以使用账号密码去验证。但是,如果使用账号和…

统信UOS安装mysql数据库(mariadb)-统信UOS安装JDK-统信UOS安装nginx(附安装包)

统信UOS离线全套安装教程(手把手教程) 银河麒麟的各种离线全套安装教程: https://blog.csdn.net/ACCPluzhiqi/article/details/131988147 1.统信UOS桌面系统安装mysql(mariadb) 2.统信UOS桌面系统安装JDK 3.统信UOS桌…

网络出口技术中的单一出口网络结构,你会用吗?

我们在设计一个园区网络的时候,园区网络的出口需要和运营商的网络进行对接,从而提供internet服务。 在和运营商网络对接的时候,一般采用如下3终方式: 单一出口网络结构 1、网络拓扑 终端用户接入到交换机,交换机直…

PostgreSQL-Centos7源码安装

卸载服务器上的pg13 本来是想删除原来的postgis重新源码安装就行,但是yum安装的PostgreSQL不能直接使用,会提示以下问题: 之前服务是用yum安装的,现在需要删除 -- 删除数据的postgis插件 drop extension postgis; drop extension postgis cascade;删除相关安装包 # 查询…

Linux安装操作(Mac版本)

Parallels Desktop的简介 Parallels Desktop是Mac平台上的虚拟机软件,也是Mac平台最好的虚拟机软件之一。它允许用户在Mac OS X系统上同时运行其他操作系统,例如Windows、Linux等。Parallels Desktop为Mac用户提供了使用其他操作系统和软件的便利性&…

shell脚本:使用mysqldump实现分库分表备份

一.什么是分库分表备份 分库分表备份是一种数据库备份策略,用于处理大型数据库系统中的数据分布和备份需求。当数据库的数据量非常大时,单个数据库可能无法满足性能和可扩展性的要求。为了解决这个问题,使用分库分表技术将数据库拆分成多个库…

Centos7 如何用命令直接更改配置文件里面内容

环境: Centos7.7 问题描述: Centos7 如何用命令直接更改配置文件里面内容 ifcfg-bond1文件里面DNS想替换改成114 解决方案: 1.使用sed命令 sed -i -e "s:匹配参数.*:匹配参数替换后的内容:g" 对应的文件路径本案例命令 se…

使用ansible playbook编写lnmp架构

使用ansible playbook编写lnmp架构 - name: nginx playgather_facts: falsehosts: lnmpremote_user: roottasks: - name: stop firewalldservice: namefirewalld statestopped- name: syslinuxcommand: /usr/sbin/setenforce 0ignore_errors: true- name: nginx.repocopy: src/…

Spring Cloud简单记录

1. Spring Cloud是什么 工作这么多年,哈哈。。。没深入理解spring,spring cloud也是没有用过。趁着周末,搞一搞概念,先搞清楚是什么,虽然是什么只有用过之后才能理解的更具体,但是还是需要先整体的熟悉一下…

网站服务器出错的原因分析和解决方法

​  网站在日常运行的过程中,难免会遇见一些问题,这次我们就来分析关于网站服务器出错、服务器异常的原因以及如何解决网站服务器错误的方法。 如何知道是网站服务器的问题呢? 只要网站不能正常访问运行,那么一定会反馈相关的错误代码和原…

3ds Max如何进行合成的反射光泽通道渲染

推荐: NSDT场景编辑器 助你快速搭建可二次开发的3D应用场景 1. 准备场景 步骤 1 打开 3ds Max。smart_phone.max打开已 随教程提供。 打开 3ds Max 步骤 2 按 M 打开材质编辑器。选择空材料 槽。单击漫射通道。它将打开材质/贴图浏览器窗口。选择位图&#xff0…