流式湖仓增强,Hologres + Flink 构建企业级实时数仓

流式湖仓增强,Hologres + Flink 构建企业级实时数仓

一、Hologres+Flink,阿里云上众多客户实时数仓的首选

随着大数据从规模化走向实时化,实时数据的需求覆盖互联网、交通、传媒、金融、政府等各个领域。实时计算在企业大数据平台的比重也在不断提高,部分行业已经达到了 50%。Hologres+Flink 通过众多的丰富企业级能力,替换开源复杂的各类技术组件,减少多种技术栈学习、多种集群运维、多处数据一致性维护等成本,让企业专注于业务,实现降本增效。

  • 小红书 OLAP 场景通过 Hologres 替换 Clickhouse,查询性能大幅提升,在推荐场景下基于 Hologres+Flink 实时分析用户 A/B 分组测试结果,实时调整推荐策略,更新推荐模型。
  • 小迈科技通过 Hologres+Flink 构建百亿级广告实时数仓,满足高性能写入、极速复杂查询、高可用隔离等需求,在让用户行为分析实现秒级响应,快速响应业务需求。
  • 金蝶管易云升级实时数仓到 Hologres+Flink,数据延迟从 30S + 降低到秒级,借助 Hologres 强大的实时分析聚合能力,解决数据统计延迟问题,并且整体资源成本降低 50%。
  • 好未来原先将 Kudu 作为 OLAP 引擎,使用 Impala 进行数据加载、运算,通过 Hologres 同时替换 Kudu/Impala 实现百万级写入和毫秒级查询能力,降低成本近百万 / 年。
  • 乐元素通过测试发现对比 Presto 性能提升了 5~10 倍,64 核 Holgores 可直接替换 96 核 Presto 集群,于是升级数仓架构,让业务运营效率提升 10 倍 +。
一站式实时数仓 Hologres

Hologres 是阿里云自研一站式实时数仓,以分析服务一体化架构,统一数据平台架构,实现一份数据,同时支持支持多维分析、在线服务、湖仓一体、向量计算多个场景,其中包含了:

  • 多维分析(实现同 CK、Doris 等查询场景)

数据高性能实时写入、更新与查询,实现写入即可查,支持列存、内置索引加速

  • 在线服务(实现同 Hbase、Redis 等点查场景)

超高 QPS 下 KV 与 SQL 点查、非主键点查,支持行存、具备高可用能力

  • 湖仓分析(实现同 Presto 等交互式分析场景)

无需数据搬迁,对 MaxCompute、数据湖中的表进行秒级交互式查询,元数据自动发现

  • 向量计算(实现同 Faiss 等向量查询场景)

内置达摩院 Proxima 向量引擎,QPS 与召回率性能超过开源向量数据库数倍

img

企业级实时数仓能力

与开源组件不同的是,企业级的实时数仓需要帮助企业快速实现各类资源隔离、数据安全、敏捷运维等能力,让企业能够持续稳定、高效使用数据,保持大数据平台实时在线运行。Hologres 具有资源隔离、数据加密、数据脱敏、灾备,数据备份恢复、IP 白名单、数据治理,数据血缘等丰富的企业级能力。

  • 负载隔离

多个计算实例组成一主多从模式,实例间共享一份存储,计算资源隔离,实现写入和读取隔离,查询和服务隔离。支持故障管理,故障节点快速自动恢复,盘古三副本提供高可靠冗余存储。

  • 企业级运维

具备一定自运维能力,内置查询历史、元仓表等运维诊断信息,用户可以基于查询历史和表的元数据,提供丰富的监控和告警指标,快速定位系统瓶颈和风险点,提升自运维能力。

  • 数据安全

支持细粒度访问控制策略,支持 BYOK 数据存储加密和数据脱敏,支持数据备份与恢复,支持 RAM、STS 及独立账号等多种认证体系,通过 PCI-DSS 安全认证(PCI-DSS 是目前全球最严格且级别最高的金融数据安全标准)。

  • 数据治理

实时数据处理导致成本增加,Hologres 提供 table info,包含各类数据使用的日志信息。方便了解数据有没有人在用,用了多少次,让企业可以做更好地做成本控制。

img

二、Hologres 与 Flink 深度集成

Hologres+Flink 这套组合是在阿里集团内部经过多年实时化场景打磨探索出来的最佳架构,例如淘天用户增长团队成功让 3-5min 的画像分析提升到 10s 左右,CCO 客户服务团队数据分析效率提升 10 倍,淘菜菜一年

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/302265.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

数环通12月产品更新:新增数据表相关功能、优化编辑器,15+应用进行更新

为了满足用户不断增长的需求,我们持续努力提升产品的功能和性能,以更好地支持用户的工作。 数环通12月的最新产品更新已经正式发布,带来了一系列强大的功能,以提升您的工作效率和系统的可靠性。 更新快速预览 新增&优化功能&a…

三维轮廓测量仪:革命性技术在工业智能制造中的多重应用

现代工业智能制造领域中,三维轮廓测量仪是一项重要的测量技术。三维轮廓测量仪利用光学、激光或光电等技术手段,通过测量物体表面轮廓的三维坐标信息,能实现对物体形状、尺寸和表面特征的准确测量。它可以广泛应用于工业自动化、制造工艺控制…

深入了解性能测试工具:优化应用性能的关键步骤

在当今数字化时代,应用程序性能是保持用户满意度和业务成功的关键因素之一。性能测试工具是开发和测试团队的宝贵资源,可以帮助识别和解决潜在的性能瓶颈,确保应用程序在各种负载条件下都能表现出色。本文将介绍性能测试工具的重要性、及它们…

Azkaban学习网站:大数据框架的一站式解决方案,让你事半功倍!

介绍:Azkaban是由LinkedIn公司推出的一个开源的任务调度系统,主要用于在一个工作流内按照特定的Azkaban是由LinkedIn公司推出的一个开源的任务调度系统,主要用于在一个工作流内按照特定的顺序运行一组工作和流程。它负责任务的调度运行&#…

如何进行深入的竞品分析:掌握这些技巧让你更加了解市场

随着互联网行业的快速发展,产品经理需要对竞品进行深入分析,才能更好地把握市场需求和趋势,为公司带来更好的商业价值。那么,如何做好竞品分析呢?以下是我对于这个问题的思考和建议。 一、确定分析的目的和范围 在开…

Nacos 学习之系列文章

系列文章目录 目录 系列文章目录 文章目录 前言 一、Nacos是什么? 二、Nacos的主要功能 服务发现和服务健康监测 动态配置服务 动态 DNS 服务 三、Nacos 地图 四、Nacos 生态图 总结 前言 Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。 Naco…

【稳定检索、投稿优惠】2024年航空航天工程与遥感科学技术国际会议(ICAERSST 2024)

2024年航空航天工程与遥感科学技术国际会议(ICAERSST 2024) 2024 International Conference on Aerospace Engineering and Remote Sensing Science and Technology(ICAERSST 2024) 一、【会议简介】 2024年,一场盛大的国际学术盛会航空航天工程与遥感科学技术国际会…

Spring中事务控制的API介绍(PlatformTransactionManager和TransactionDefinition)

什么是事务? 当你需要一次执行多条SQL语句时,可以使用事务。通俗一点说,如果这几条SQL语句全部执行成功,则才对数据库进行一次更新,如果有一条SQL语句执行失败,则这几条SQL语句全部不进行执行,…

【Python】不一样的Ansible(一)

不一样的Ansible——进阶学习 前言正文概念Ansible CorePlugins和Modules 插件插件类型编写自定义插件基本要求插件选项文档标准编写插件 添加一个本地插件注册为内置插件指定插件目录 其他一些技巧更改Strategy 结语 前言 Ansible 是一个极其简单的 IT 自动化引擎&#xff0c…

【洛谷学习自留】p9226 糖果

解题思路: 简单的计算题,用n对k取余,如果余数为0,则输出k的值,否则输出(k-余数)的值。 代码实现: import java.util.Scanner;public class p9226 {public static void main(Strin…

关于自增和自减的一些细节问题

目录 基本概念 1.运算 2.输出 基本概念 在这里简单回顾一下自增和自减:顾名思义,自就是同一变量的值发生变化,自增就是该变量值加1,自减就是该变量值减1。 自增和自减又可以根据运算符的位置不同分为前缀式和后缀式。前缀就是…

Jmeter 性能 —— 内存溢出问题定位分析!

1、堆内存溢出 ①稳定性压测一段时间后,Jmeter报错,日志报: java.lang.OutOfMemoryError.Java heap space ②用jmap -histo pid命令dump堆内存使用情况,查看堆内存排名前20个对象。 看是否有自己应用程序的方法,从…

桌面小部件(Appwidget)的列表ListView点击启动Activity失败的解决方案

1、问题现象 点击列表项ItemView启动startActivity始终没反应。 原来的老版本写法如下: //RemoteViewsFactory类override fun getViewAt(position: Int): RemoteViews? {val fillInIntent Intent()//item点击时传递的参数fillInIntent.putExtra(FullTextActivit…

RocketMQ5-03RocketMQ-Dashboard和Java客户端访问示例

接上篇02快速部署RocketMQ5.x(手动和容器部署) 已经完成 RocketMQ5.0 环境的部署,就需要对这个环境进行测试,查看集群、写入消息、读取消息等 本篇教你如何使用和查看部署的服务: Docker部署 Dashboard 获取镜像并下载部署服务 客户端连接 …

静态网页设计——旅游网(HTML+CSS+JavaScript)

前言 声明:该文章只是做技术分享,若侵权请联系我删除。!! 感谢大佬的视频: https://www.bilibili.com/video/BV1KN4y1v7jx/?vd_source5f425e0074a7f92921f53ab87712357b 使用技术:HTMLCSSJS(…

springboot集成cas客户端

Background 单点登录SSO(Single Sign ON),指在多个应用系统中,只需登录一次,即可在多个应用系统之间共享登录。统一身份认证CAS(Central Authentication Service)是SSO的开源实现,利用CAS实现SSO可以很大程…

TrueNAS数据共享——开启SSH

目录 1、开启ssh 2、开启root登录 1、开启ssh 服务--找到SSH 启动 勾选自动启动 点击动作 2、开启root登录 勾选使用密码以root身份登录

物理机与vm文件共享与传输的设置方法

今天跟各位小伙伴,分享一下物理机与vm虚拟机文件共享与传输的设置方法,以供大家参考! 一、物理机与虚拟机文件共享设置方法 第一步:先关闭虚拟机(客户机) 第二步:选择编辑虚拟机设置 第三步&am…

01.Typora1.7.6安装以及更换主题方法

重所周知,程序员的笔记资料有多么重要,不仅是自我提升也是加强记忆 那么一定少不了Typora这个软件 今天就来感受一下它应该如何打开正确的安装的方法。 双击文件夹以后,里面会有这样两个文件 我们双击后缀为.exe的文件 更改安装位置&#…

c语言:求1-100的奇数和|练习题

一、题目 求1-100以内的奇数和 二、代码截图【带注释】 三、源代码【带注释】 #include <stdio.h> //思路分析 //1、一个除以2&#xff0c;除不尽的&#xff0c;便是奇数 //设计常量N为100&#xff0c;常量随时可以变动 #define N 100 int main() { int sum0;//设…