2024 年 12 月 18 - 19 日,为推动打造行业交流平台,驱动产业创新共荣,大数据技术标准推进委员会以“数据重塑价值 智能链接未来”为主题,在北京召开为期两天的“2024 数据资产管理大会”。
在会上,第八届大数据“星河(Galaxy)”案例评选结果正式公布。中国移动通信集团江西有限公司与酷克数据联合申报的《基于江西移动数据仓库架构的智能化升级与大数据应用创新实践》应用案例,成功入选第八届大数据“星河(Galaxy)”数据库潜力案例。
为推动大数据技术与相关产业发展,释放数据作为新型生产要素的潜力,中国信通院与中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)已连续八年举办大数据“星河(Galaxy)”案例征集活动。活动主要面向甲方落地单位,旨在通过实地生产案例与场景,总结和推广真实可用的大数据实践与经验,在国内大数据产业具有公认的行业标杆性和极高的认可度。
项目背景
在数字化时代,数据已成为企业运营不可或缺的资源。江西移动一直致力于为客户提供卓越移动通信服务。然而,随着 5G 时代,移动通信业务的迅速扩张和数据量的急剧增加,原有基于 Greenplum 的数据仓库平台在数据处理、响应速度和数据融合方面逐渐暴露出局限,限制了数据价值的挖掘与利用。同时,江西移动面临国产化适配的挑战,数据平台需支持国产操作系统,以确保数据安全与自主可控。
为破局向新,江西移动毅然决定对现有数据平台进行全面改造升级,核心目标是提升数据仓库平台的应用支撑力,加速数据处理,优化数据融合。尤为关键的是,此次升级需在数据及调度自动适配、业务层零变更的前提下进行,以确保业务连续稳定,升级难度却也因此加大。
HashData 解决方案
为此,江西移动携手酷克数据,采用 HashData Enterprise 存算分离架构的云原生数据仓库构建核心数据分析平台,采用 HashData Lightning 存算一体架构的数据仓库构建实时数据仓库,并将原有 Greenplum 集群无缝升级,全面升级数据支撑底座。
在核心数据处理层,江西移动采用了 HashData Enterprise 的云原生数据库,突破了原有存算紧耦合 MPP 架构的瓶颈。新的平台采用存算分离架构,不仅简化了运维,还解决了数据冗余和跨集群复制效率低等问题。通过全域数据共享和与现网 Hadoop 平台的无缝对接,核心数据分析平台大幅度提升了数据处理能力,支持了各类业务应用,并为后续的数据处理、KPI 计算和报表生成等提供了坚实的技术基础。
采用 HashData Lightning 构建的实时数仓显著提升了实时位置分析能力,解决了传统平台的两大难题:栅格覆盖信息无法有效持久化以及沉默信令用户导致的数据波动。通过 Kafka 和 Hive 等高效连接器,实时数仓提升了数据交互效率,并构建了静默用户识别与数据稳定性模型,确保了分析结果的准确性和稳定性。实时数仓的部署还大幅提高了数据同步效率,使得准实时指标获得了 75%的提升。
原有 Greenplum 数据仓库通过无缝升级到 HashData,全面提升数据仓库平台对各类应用的支撑能力,实现了数据处理效率实现质的飞跃。新平台承载了多维度数据存储、处理和分析工艺,显著提升了系统的数据处理能力和分析效率,为省级和地市级业务部门提供了更灵活的运营决策支持。
项目价值
江西移动携手酷克数据,通过构建多级集群与创新实时数仓,结合存算分离的云原生核心数据库,为江西移动提供了高效、灵活的数据处理能力,推动了数据驱动业务发展的转型升级。
- 业务时效性,实现质的飞跃
HashData Lightning 实时数据仓库的成功部署,大幅提升了数据流转速度,使信息流动更加顺畅。实时数据处理能力的增强,赋予业务部门快速响应市场变化的能力,从而在竞争激烈的环境中实现业务的敏捷调整与持续增长。
- 数据共享与集约化管理,迈向新高度
核心库的建设实现了全省专业数据的集中汇聚,打破了信息孤岛,提升了数据的集约管理和高效利用。统一的数据资产管理平台,优化了数据治理流程,支持多数据源的无缝整合和共享,极大丰富了数据应用的深度和广度,为各类业务场景提供了强大的支持。
- 融合开放,赋能多场景应用
新平台采用存算分离与存算一体两种架构,兼顾灵活性与可扩展性,支持离线批处理、流式处理、在线处理及交互式分析等多种数据处理模式,满足了不同业务场景的需求。多租户管理模式确保资源隔离与冲突避免,保障了业务并行发展和高效运行。
- 大数据生态深度对接,灵活性大幅提升
新平台采用 HDFS 作为底层数据存储,满足了大规模数据处理的需求,借助 Kafka、Hive 等标准化数据连接器,显著提升了数据处理的灵活性与集成效率。这一架构简化了数据处理流程,降低了系统集成复杂度,为江西移动未来在大数据生态中的深入探索和广泛应用提供了坚实基础,展现了前瞻性的战略价值。
结语
通过与酷克数据的深度合作,江西移动成功实现了数据平台的全面升级,采用 HashData 数据库技术为其信息技术基础设施注入了强大的创新动力。
此次升级不仅突破了数据处理、性能优化和业务敏捷性等多个领域的瓶颈,更为江西移动在大数据生态的深度整合和技术创新上奠定了坚实基础。尤其是在支持国产化替代的战略背景下,平台的高性能、高兼容性和良好的扩展性为江西移动的业务转型与发展提供了重要支撑。
未来,酷克数据将继续与江西移动携手并肩,推动数据库应用创新发展,积极响应国产化替代的战略要求。通过技术与架构的不断优化,开辟更广阔的数字化与智能化应用空间,为未来的数据资产化、智能化、可视化等多元化发展目标提供持续动力,为行业的数字转型与创新驱动贡献更多力量。