6月16日,由华为云、msup、厦门火炬大学堂、厦门市行业软件协会联合主办的“企业快成长大数据与微服务技术创新论坛”在厦门成功举办。本次活动汇聚了华为云、珍爱网等知名企业的CTO和技术专家,通过技术案例解析了大数据平台构建、微服务演进等内容,深入探讨了如何围绕数据平台进行数据开发和数据治理,旨在帮助架构师、技术经理等找到构建轻量级大数据平台的最佳实践,快速从数据中挖掘价值反哺业务。
活动现场
活动伊始,华为云福建CTO为大家致辞。
华为云福建CTO
他表示,华为云近年来发展迅猛,华为云的出现使得企业客户多了一个很好的选择,使云计算市场的发展更加规范和健康,使云厂商对客户有了更多的敬畏,对客户的数据主权也保持了更多的尊重。“服务好客户,让客户上好云”是华为云的宗旨。
在福建,各个细分市场的头部客户都选择了华为云,如互联网行业的美图,汽车上下游行业的神舟单车和科拓,金融保险行业的兴业银行,以及零售行业的安踏、361、九牧等。华为云正在与更多的用户一起成长。
华为云大数据技术专家
接下来,华为云大数据技术专家发表了题为《构建现代数据栈,加速释放数据价值》的分享。
进入数字经济时代,数据成为重要的生产资料,激发数字经济发展。权威数据显示,2025年产业数字化机会可达23万亿美元。企业的数字化转型正在升级,以数据驱动的业务智能日益增长,在这个过程中,企业面临着技术门槛高、投入成本大、数据治理难的难题。针对这些痛点,华为云为客户提供简单易用的全栈大数据基础设施。
华为云的大数据基础设施的存算分离架构进一步演进,智能化的数据生产线DataArts可以帮助企业数据实时的入湖、分析、处理,其AI能力可以实现智能化的数据准备与治理。DataArts还拥有全链路数据安全管理,可以保护好隐私数据,对数据使用进行合规性审计。华为云大数据基础设施还可以在大数据和AI引擎之间自由流转,实现数智融合。华为云数据治理中心DataArts Studio是从数据集成到开发、治理、服务一站式端到端的平台。在全场景数据集成上,可一键集成全量数据、增量数据、实时数据。在数据开发上,通过一站式开发+上线+运维,统一开发环境来提升数据开发效率,还有低代码开发平台能大幅度提升开发人员的开发效率。
最后,华为云大数据技术专家详细介绍了华为云赋能梦饷集团智能运营,让决策智能化,助力梦饷开拓电商新价值的实践案例。
bilibili 高级技术总监 张靖
数据治理是指对一个组织中使用的数据的可用性、可用性、完整性和安全性的管理。数据治理平台是一个帮助企业有效管理其数据治理过程的工具。bilibili 高级技术总监张靖从大数据治理平台的概念,平台建设在B站发生的问题,以及如何用数据驱动的方法论推动平台方向建设等方面,详细介绍了数据治理驱动下的大数据开发治理平台建设。
以全局视角解读大数据开发治理平台可分为两大模块、三种场景和四类用户。两大模块包括开发和治理模块。开发即日常在开发中所需的调度系统和代码IDE。治理包括数据管理以及和安全、成本、质量相关的提效和治理工具。三种场景包括数据生产场景、数据消费场景和数据治理场景。四类用户包括数据分析师、数据 RD、算法 RD 和数据运营。B站对市面上第三方方案进行了简单的调研,出于成本控制、集成能力、性能要求方面的考虑,B站最终选择自研的解决方案。
接下来,张靖介绍了B站业务产品架构,以及在五年的平台建设中遇到的痛点,并重点介绍了如何使用数据治理的方法论驱动平台建设。他表示,数据治理平台需要与业务紧密联系,要优先解决业务问题。对待一些新技术,要从功能流程,场景收益,DEMO链路方面进行调研决策。在组织形态上,要有自持的业务。如果需求太多,要尽量按照质量>成本>安全的优先级做出评估。当然,平台一定要运营数据而不是只做工具。
华为云技术专家
随着微服务、Serverless、DevOps、低代码开发等云原生技术的发展,最早开始实践应用现代化的企业也已经收获了诸如客户体验提升的收益,所以,应用全面现代化的时机已经成熟,应用现代化已势在必行。那么企业应该怎样快速实现应用的现代化呢?华为云技术专家表示,微服务、Serverless都是重要的技术,通过这两个技术,单体应用可以升级为弹性、可扩展的分布式应用,并带来交付方式、研发模式、云上安全等创新。
华为云的应用现代化,基于云原生、AI、Serverless等技术,通过搬迁、改造、重构等途径,帮助企业对传统应用进行升级,打造极致体验、智能高效、安全可靠的新型应用,实现业务敏捷和高效创新,释放企业的数字生产力,成就高质量增长的现代化企业。其中,ServiceStage是华为云一站式PaaS平台服务,提供应用上云,应用运维,可观测集成能力,提供应用发布功能,支持持续部署,多种发布策略(滚动、金丝雀、蓝绿),保障变更稳定性。
除了ServiceStage服务,华为云还提供全托管、Serverless模式的PaaS平台服务 CAE,进一步降低应用上云门槛,提升运维效率,提高资源利用率。目前,华为云微服务已经大量被大企业、央国企、部委、政务等场景采用。
珍爱网CTO彭万亮
珍爱网是一家拥有17年历史的婚恋交友网站,经历过业务规模爆发性增长,系统出现瓶颈,业务经历了微服务拆分、链路优化、上云、容器化、双云双活等发展历史,最终沉淀出了一套珍爱特色的微服务治理架构。珍爱网 CTO 彭万亮在演讲中对该架构进行了详细解读。
在架构研发流程中,珍爱网遇到了一些痛点,如:资源隔离不充分,并行需求联调/测试困难,部署流程过多人为参与,多套环境难于管理等。为了解决这些问题,珍爱网引入docker与k8s,替换原来jar包与shell命令的部署管理方式;改造开发测试环境,解决并行并发、测试困难的问题;改造发布流程,固化发布流程,简化操作、减少出错;服务单元化,细化资源隔离粒度。
双云双活的架构极大避免了单一云环境故障导致的云平台宕机、数据丢失等风险,并可以根据需求优化企业工作负载,更好的发挥云的弹性优势,实现了资源复用、动态调整、实时验证、快速切换的目标。
最后,彭万亮将珍爱网微服务架构演进的核心总结为:业务持续发展,架构持续迭代暴露设计缺陷,或者业务出现更好的解决方案,然后针对各类问题专项攻坚,最后上升到框架层面的调整。
本次活动在热烈的讨论和意犹未尽中落下帷幕。未来,华为云将联合更多的生态合作伙伴,共同发布更多更优质的解决方案,帮助合作伙伴梳理战略版图,共同打造更多合作可能。