酷克数据携手江西移动入选“星河(Galaxy)”数据库潜力案例

2024 年 12 月 18 - 19 日,为推动打造行业交流平台,驱动产业创新共荣,大数据技术标准推进委员会以“数据重塑价值 智能链接未来”为主题,在北京召开为期两天的“2024 数据资产管理大会”。


在会上,第八届大数据“星河(Galaxy)”案例评选结果正式公布。中国移动通信集团江西有限公司与酷克数据联合申报的《基于江西移动数据仓库架构的智能化升级与大数据应用创新实践》应用案例,成功入选第八届大数据“星河(Galaxy)”数据库潜力案例。
e3066c4f796d0d1c29d80bd7ed69284b.jpeg
为推动大数据技术与相关产业发展,释放数据作为新型生产要素的潜力,中国信通院与中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)已连续八年举办大数据“星河(Galaxy)”案例征集活动。活动主要面向甲方落地单位,旨在通过实地生产案例与场景,总结和推广真实可用的大数据实践与经验,在国内大数据产业具有公认的行业标杆性和极高的认可度。

项目背景


在数字化时代,数据已成为企业运营不可或缺的资源。江西移动一直致力于为客户提供卓越移动通信服务。然而,随着 5G 时代,移动通信业务的迅速扩张和数据量的急剧增加,原有基于 Greenplum 的数据仓库平台在数据处理、响应速度和数据融合方面逐渐暴露出局限,限制了数据价值的挖掘与利用。同时,江西移动面临国产化适配的挑战,数据平台需支持国产操作系统,以确保数据安全与自主可控。
为破局向新,江西移动毅然决定对现有数据平台进行全面改造升级,核心目标是提升数据仓库平台的应用支撑力,加速数据处理,优化数据融合。尤为关键的是,此次升级需在数据及调度自动适配、业务层零变更的前提下进行,以确保业务连续稳定,升级难度却也因此加大。

HashData 解决方案


为此,江西移动携手酷克数据,采用 HashData Enterprise 存算分离架构的云原生数据仓库构建核心数据分析平台,采用 HashData Lightning 存算一体架构的数据仓库构建实时数据仓库,并将原有 Greenplum 集群无缝升级,全面升级数据支撑底座。
核心数据处理层,江西移动采用了 HashData Enterprise 的云原生数据库,突破了原有存算紧耦合 MPP 架构的瓶颈。新的平台采用存算分离架构,不仅简化了运维,还解决了数据冗余和跨集群复制效率低等问题。通过全域数据共享和与现网 Hadoop 平台的无缝对接,核心数据分析平台大幅度提升了数据处理能力,支持了各类业务应用,并为后续的数据处理、KPI 计算和报表生成等提供了坚实的技术基础。
3f768bd3b78937a2335187dd257c39bd.jpeg
采用 HashData Lightning 构建的实时数仓显著提升了实时位置分析能力,解决了传统平台的两大难题:栅格覆盖信息无法有效持久化以及沉默信令用户导致的数据波动。通过 Kafka 和 Hive 等高效连接器,实时数仓提升了数据交互效率,并构建了静默用户识别与数据稳定性模型,确保了分析结果的准确性和稳定性。实时数仓的部署还大幅提高了数据同步效率,使得准实时指标获得了 75%的提升。
原有 Greenplum 数据仓库通过无缝升级到 HashData,全面提升数据仓库平台对各类应用的支撑能力,实现了数据处理效率实现质的飞跃。新平台承载了多维度数据存储、处理和分析工艺,显著提升了系统的数据处理能力和分析效率,为省级和地市级业务部门提供了更灵活的运营决策支持。

项目价值

江西移动携手酷克数据,通过构建多级集群与创新实时数仓,结合存算分离的云原生核心数据库,为江西移动提供了高效、灵活的数据处理能力,推动了数据驱动业务发展的转型升级。

  • 业务时效性,实现质的飞跃

HashData Lightning 实时数据仓库的成功部署,大幅提升了数据流转速度,使信息流动更加顺畅。实时数据处理能力的增强,赋予业务部门快速响应市场变化的能力,从而在竞争激烈的环境中实现业务的敏捷调整与持续增长。

  • 数据共享与集约化管理,迈向新高度

核心库的建设实现了全省专业数据的集中汇聚,打破了信息孤岛,提升了数据的集约管理和高效利用。统一的数据资产管理平台,优化了数据治理流程,支持多数据源的无缝整合和共享,极大丰富了数据应用的深度和广度,为各类业务场景提供了强大的支持。

  • 融合开放,赋能多场景应用

新平台采用存算分离与存算一体两种架构,兼顾灵活性与可扩展性,支持离线批处理、流式处理、在线处理及交互式分析等多种数据处理模式,满足了不同业务场景的需求。多租户管理模式确保资源隔离与冲突避免,保障了业务并行发展和高效运行。

  • 大数据生态深度对接,灵活性大幅提升

新平台采用 HDFS 作为底层数据存储,满足了大规模数据处理的需求,借助 Kafka、Hive 等标准化数据连接器,显著提升了数据处理的灵活性与集成效率。这一架构简化了数据处理流程,降低了系统集成复杂度,为江西移动未来在大数据生态中的深入探索和广泛应用提供了坚实基础,展现了前瞻性的战略价值。


结语


通过与酷克数据的深度合作,江西移动成功实现了数据平台的全面升级,采用 HashData 数据库技术为其信息技术基础设施注入了强大的创新动力。
此次升级不仅突破了数据处理、性能优化和业务敏捷性等多个领域的瓶颈,更为江西移动在大数据生态的深度整合和技术创新上奠定了坚实基础。尤其是在支持国产化替代的战略背景下,平台的高性能、高兼容性和良好的扩展性为江西移动的业务转型与发展提供了重要支撑。
未来,酷克数据将继续与江西移动携手并肩,推动数据库应用创新发展,积极响应国产化替代的战略要求。通过技术与架构的不断优化,开辟更广阔的数字化与智能化应用空间,为未来的数据资产化、智能化、可视化等多元化发展目标提供持续动力,为行业的数字转型与创新驱动贡献更多力量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/940052.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【Verilog】UDP用户原语

User-defined primitives 概述基本语法组合逻辑的UDP时序逻辑的UDPUDP 符号表 Verilog HDL(简称 Verilog )是一种硬件描述语言,用于数字电路的系统设计。可对算法级、门级、开关级等多种抽象设计层次进行建模。 Verilog 不仅定义了语法&…

《Java核心技术I》Swing中滚动窗格

滚动窗格 Swing中文本区没有滚动条,如需要,可以将文本区放在 滚动窗格(scrollpane)中。 textArea new JTextArea(8,40); var scrollPane new JScrollPane(textArea); 添加到滚动窗格不是文本区特有的,所有组件都可以。 注释:JTe…

Node.js day-01

01.Node.js 讲解 什么是 Node.js,有什么用,为何能独立执行 JS 代码,演示安装和执行 JS 文件内代码 Node.js 是一个独立的 JavaScript 运行环境,能独立执行 JS 代码,因为这个特点,它可以用来编写服务器后端…

排序算法(7):堆排序

问题 排序 [30, 24, 5, 58, 18, 36, 12, 42, 39] 堆排序 堆排序是一种基于堆数据结构的排序算法。堆是一个近似完全二叉树的结构,即除了最后一层外,每一层都必须填满,且最后一层从左往右填充。 堆可以分为大根堆和小根堆。在大根堆中&…

操作系统如何管理进程所用的资源

PCB 操作内核的作用 进程与模式的切换 软中断——相当于审核——审核有没有访问权限什么的 操作系统以什么方式提供服务? 进程的创建和终止 线程 七状态图,挂起

罗德与施瓦茨NRP33SN,一款独立、特性齐全的功率探头

罗德与施瓦茨NRP33SN功率探头概述 ROHDE & SCHWARZ NRP33S 三路二极管功率传感器 罗德与施瓦茨 NRP33S 三路二极管功率传感器是一款独立 、特性齐全的仪器。它们可以通过罗德与施瓦茨 NRP2 基 本单元、通过 USB 的笔记本电脑/PC 以及许多罗德与施瓦 茨仪器(例如…

uniapp自定义树型结构数据弹窗,给默认选中的节点,禁用所有子节点

兼容H5、安卓App、微信小程序 实现逻辑&#xff1a;给默认选中节点的所有子节点添加一个disabled属性&#xff0c;以此禁用子节点。 /components/sonTreeNode/sonTreeNode.vue 封装成组件 <template><view><view :class"[item,item.is_level1?pL1:item…

运维工程师面试系统监控与优化自动化与脚本云计算的理解虚拟化技术的优点和缺点

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c; 忍不住分享一下给大家。点击跳转到网站 学习总结 1、掌握 JAVA入门到进阶知识(持续写作中……&#xff09; 2、学会Oracle数据库入门到入土用法(创作中……&#xff09; 3、手把…

【GCC】2015: draft-alvestrand-rmcat-congestion-03 机器翻译

腾讯云的一个分析,明显是看了这个论文和草案的 : 最新的是应该是这个 A Google Congestion Control Algorithm for Real-Time Communication draft-ietf-rmcat-gcc-02 下面的这个应该过期了: draft-alvestrand-rmcat-congestion-03

web自动化测试知识总结

&#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 一、自动化测试基本介绍 1、自动化测试概述&#xff1a; 什么是自动化测试&#xff1f;一般说来所有能替代人工测试的方式都属于自动化测试&#xff0c;即通过工…

进程间通信方式---消息队列(System V IPC)

进程间通信方式—消息队列&#xff08;System V IPC&#xff09; 文章目录 进程间通信方式---消息队列&#xff08;System V IPC&#xff09;消息队列1.消息队列进程间通信原理2.msgget 系统调用3.msgsnd 系统调用4.msgrcv 系统调用5.msgctl 系统调用6.函数使用案例7.实现生产者…

python学opencv|读取图像(十七)认识alpha通道

【1】引言 前序学习进程中&#xff0c;我们已经掌握了RGB和HSV图像的通道拆分和合并&#xff0c;获得了很多意想不到的效果&#xff0c;相关链接包括且不限于&#xff1a; python学opencv|读取图像&#xff08;十二&#xff09;BGR图像转HSV图像-CSDN博客 python学opencv|读…

Unity Post请求发送fromdata数据content-type

wwwfrom 的 headers["Content-Type"]修改 错误代码&#xff1a; WWWForm form new WWWForm(); if (form.headers.ContainsKey("Content-Type")) {string boundary string.Format("--{0}", DateTime.Now.Ticks.ToString("x"));form…

服务平滑发布与线上验证

发布策略可分为&#xff1a; 蓝绿发布&#xff1a;将新版本服务器全部发好后&#xff0c;将旧版本服务器的流量统一切换到新版本上灰度发布&#xff08;金丝雀发布&#xff09;&#xff1a;是一种滚动发布方式&#xff0c;首先部署部分新版本服务器&#xff0c;将部分流量切到…

【数据安全】如何保证其安全

数据安全风险 数字经济时代&#xff0c;数据已成为重要的生产要素。智慧城市、智慧政务的建设&#xff0c;正以数据为核心&#xff0c;推动城市管理的智能化和公共服务的优化。然而&#xff0c;公共数据开放共享与隐私保护之间的矛盾日益凸显&#xff0c;如何在确保数据安全的…

ai论文生成器:分享8款AI一键生成论文的写作软件

在撰写毕业论文的过程中&#xff0c;高效利用各类软件工具可以极大地提升写作效率与质量。以下是八个免费的神器软件工具&#xff0c;它们各自在论文撰写、文献管理、语法校对、数据可视化等方面发挥着重要作用。希望这些推荐能帮助你顺利完成毕业论文的写作。 千笔AI论文&…

白话AI大模型(LLM)原理

大模型&#xff08;例如 GPT-4或类似的深度学习模型&#xff09;是基于神经网络的系统&#xff0c;用于理解、生成文本、图像或其他数据类型。其工作原理可以分为以下几个核心步骤&#xff0c;我将通过易于理解的例子逐一解释。 1. 神经网络的基本概念 大模型背后有一个非常庞…

数据压缩比 38.65%,TDengine 重塑 3H1 的存储与性能

小T导读&#xff1a;这篇文章是“2024&#xff0c;我想和 TDengine 谈谈”征文活动的三等奖作品之一。作者通过自身实践&#xff0c;详细分享了 TDengine 在高端装备运维服务平台中的应用&#xff0c;涵盖架构改造、性能测试、功能实现等多个方面。从压缩效率到查询性能&#x…

【Prometheus 】【实战篇(四)】Node Exporter安装方式(含一键安装脚本)及重要监控指标一览

目录 一、Node Exporter 1.8.2安装步骤详解1、下载 Node Exporter 安装包2、解压下载的文件3、将 Node Exporter 移动到 /usr/local/bin/4、创建一个专用的系统用户5、创建 systemd 服务文件6、重新加载 systemd 配置7、启动并启用 Node Exporter 服务8、检查 Node Exporter 状…

Qt之串口设计-线程实现(十二)

Qt开发 系列文章 - Serial-port&#xff08;十二&#xff09; 目录 前言 一、SerialPort 二、实现方式 1.创建类 2.相关功能函数 3.用户使用 4.效果演示 5.拓展应用-实时刷新 总结 前言 Qt作为一个跨平台的应用程序开发框架&#xff0c;在串口编程方面提供了方便易用…