【数字化转型方法论读书笔记】-数据中台落地实施之法

让数据中台真正落地是实现数字化转型的重中之重。企业做好数据治理、体系建设及人才配备等前期工作后,接下来要做的是数据中台实施落地的关键。

企业首先要掌握数据中台建设的三大核心要素:选对数据建设方式、厘清建设思路、避开数据中台建设误区,最终低成本实现数字化转型。

1、数据中台设计理念

数据中台作为当前数字经济时代企业最为关注的技术平台,从提出到响应,再到成为传统产业进行数字化转型的必备手段,虽然仍未形成统一的定义,但其背后的架构设计原理和建设理念始终是不变和通用的,即改变以往数据治理围绕“聚通用”的处

理方式,形成“用通聚”的数据建设模式,从而通过复用数据资产,实现前端业务的高效创新。在此建设原理的指导下,根据企业规模和特性,制定契合需求的中台建设方法。

1.1 数据中台建设的三大核心要素

从数据中台的使用价值出发,其建设内容应具备三大核心要素,缺一不可。

1.1.1 数据资产治理

当企业市场存量变小,传统粗放的经营模式已不能为企业带来经济增长时,企业信息化建设被提上日程。电子管理系统帮助企业初步实现了组织架构调整和信息化部署。而此时,外部市场增量仍被继续压缩,简单的市场推广不再奏效,以数字化驱动前端业务快速创新并降低内部成本便是数据中台的最大优势。

维护数据、提供数据服务以驱动业务增长的工作往往由企业IT部门完成。结合业务特性,凭借数字技术,IT部门可以为“前线”业务部门源源不断地提供“弹药”。其中,数据资产的沉淀是至关重要的。因此,在数据中台的建设前期,需要通过传统的信息化管理软件及新型数据融合技术,将企业的内外部数据进行串联,通过盘点、规划,呈现所有的数据资源;通过大数据开发工具打通、整理数据,包括探查数据血缘关系、保障数据安全。

数据资产治理离不开数据模型管理,模型管理能够帮助中台统一数据字段命名,形成统一的开发规范,实现有效的数据识别。经过以上多重数据治理,可形成供企业复用的数据资产。另外,由于企业业务及产品不同,每家企业通过软件技术搭建的数据中台架构也存在差异,并没有通用或标准的数据中台架构。企业组建中台架构需要以自身的信息化建设为基础,综合考虑数据体量、业务特性。

1.1.2共享数据服务

在数据中台底层技术架构搭建完成并形成可被调用的数据资产后,还需要根据业务部门的需求构建数据模型,以便为前端业务团队提供可统一调配、共享的智能化数据服务。共享数据服务可以为前端业务提供安全可靠、操作便捷、规范统一、延展灵活的技术支持,为前端用户、产品研发、客户服务、市场营销等提供标签提取,从而为精准营销、用户画像等不同方面的应用提供数据参考。

1.1.3 数据智能应用

数据中台最终的应用方向是为企业提供提升效率、降低成本、创新业务的核心推动力。因此,在完成数据中台底层技术架构及数据治理工作后,数据智能应用便成为考验中台实力的试金石,检验数据中台能否通过数据能力,比如实时查询能力、批量处理能力、报表展示能力、数据安全能力、数据管理能力等,帮助业务人员完成数据的智能提取和应用工作,帮助企业掌握数字化转型的趋势并制定发展策略。

数据工程师、业务人员可以基于数据中台的交互模式,统一数据处理流程,实现中台内数据的自助处理,加快数据驱动业务的进度。同时,各种数据的关联分析和分析结果的统一为企业在数据智能应用方面提供了更为客观的分析维度。

1.2 数据中台的规划设计理念

如何判断一个平台是不是数据中台?

数据中台应该具备什么样的能力?

我们通过找寻这两个问题的答案,一起探索中台架构的设计理念。而在笔者看来,以为用户提供持续不断的业务产品创新为建设目标,将后端管理系统等各种资源转化为便于前端业务持续复用的能力,便是数据中台存在的意义。转向2B业务、提供技术输出和工业转型方案的互联网巨头,浸身信息化领域多年的传统IT厂商,或持续深耕企业数字化服务的技术型创业公司,在制定数字化转型解决方案时都需要深入思考这两个问题。

1.2.1 梳理基础业务关系,为中台建设提供全局思维

企业建设数据中台时需要考量自身的业务特性及数据体量。在建设数据中台之前,企业需要先梳理内部的业务关系,确定建设方向。

例如,数据部门与业务部门需要协同合作,梳理业务类型、业务领域边界、各个业务领域需要的基础服务,以及业务领域之间的连接标准,制定或完善统一的业务能力标准、运营机制、业务分析方法、业务执行框架并提供运营服务的团队组织架构。

基础业务关系经过梳理后形成的业务全景图可以帮助中台架构建设人员和前端业务人员更好地理解业务标准、业务需求。业务全景图不仅可以指导数据部门建设数据中台,还为搭建数据中台架构提供了实施标准和管控标准。

1.2.2  注重能力沉淀并保持延展性

数据中台架构的搭建、完善、应用须着重于沉淀数据能力,中台建设须具备延展性,为企业未来业务拓展及新产品研发提供更多数据支持,从而让企业持续快速地奔跑。但企业数据能力的沉淀并不是一蹴而就的,必定要经历由局部优化到全局优化、在应用中逐步完善的过程。

行业消费属性不同,企业的经营侧重点也会不同。比如高库存、高消耗的服装行业经营侧重点在于供应链。在传统服装企业的运营模式下,一线营销端的数据不是实时更新的,无法为供应链提供及时的数据支持。因此,整合供应链端数据,达到与营销端数据实时更新,成为服装行业进行数字化转型的第一要务。在完成供应链与营销端的数据更新后,服装企业的市场部门、运营部门、管理部门等非核心业务部门可以逐步进行数字化变革,最终完成全局变革。

其他企业亦可根据业务重点进行数字化转型,先从局部入手,建设适配的、可延展的数据中台,从而满足未来由局部业务向全面业务延伸而产生的数据需求。

尽管经过了前期业务关系的梳理及数字化战略实施标准的规范,但中台架构是否符合企业最终的应用需求,能够为前端业务贡献多少价值,仍须在业务应用过程中进行评估。

2、数据组织能力建设

可持续发展是每个参与市场竞争的企业的奋斗目标,但当企业发展到一定规模时,总会由于环境或自身条件的限制碰到成长瓶颈。当然,这并不意味着企业将从此一蹶不振,只要解决抑制成长的问题、避免业绩下滑、挖掘新的核心竞争力和发展动力,企业仍然能够再次实现持续增长。

在数字经济时代,新型数字技术将成为企业提升持续竞争优势的主要动力。数字化转型已成为企业在数字时代寻求业务突破的有利抓手。而企业是否具备数据组织能力,是其数字化变革能否成功的重要考量因素。

在传统的管理理念中,企业成功的标准是具备正确的战略方针与优秀的组织能力。组织能力指的是团队能够发挥整体战斗力,能够在某些方面明显超越竞争对手、创造更高价值。而在数字化浪潮席卷各行业的今天,企业成功的关键因素已不再是难以模仿的组织能力,而是对数据管理与应用进行自如管控的数据组织能力。

企业在进行数字化转型的过程中,需要明确知道数据价值的提取过程并不是技术层面的问题,而是一种数据应用的思维模式,是一种组织能力。从管理层到一线团队都应该思考企业需要的数据在哪里、怎样才能获得数据、应该如何使用数据。解决这3个问题的过程就是企业发挥数据价值的探索过程。这一过程需要企业内部多部门协同联动,发挥各自的效用。

在数字化转型过程中,企业需要做到以下几点:赋能技术创新、业务引导,处理好内外部各类数据之间的关系,让底层数据架构更丰富;建立业务部门、技术部门、市场运营部门之间的数据汇聚和动态关联的关系;在数据层面和业务层面共建各部门间的数据能力和数据服务;在行业标准参差不齐的情况下,建立规范化、统一化的数据标准,提升数据质量。

企业的数据组织能力具体体现在如下几个方面。

2.1 企业自身的数据问题和状态

企业需要清楚了解自身拥有数据的量级,知道数据的价值以及数据应用率,根据这些数据能否形成有利于企业发展的数据资产,评测是否值得通过数字技术进行挖掘。因此,企业需要明确数据存储情况,利用组织能力将其沉淀、挖掘和利用。

2.2 外部数据的连接与应用能力

一些涉及消费场景变化、行业发展趋势分析等动态数据的应用是需要借助外部数据完成的。因此,连接和打通外部数据、实现内外部数据共享,也是企业在发展过程中必备的组织能力。

2.3 数据与商业场景融合的能力

数据的获取渠道和应用方向多种多样,例如C端消费数据可从各种消费场景中获取,B端生产数据可从车间作业的信息管理系统中获取,并应用于业务部门及管理运营部门。

有些数据对提升内部生产效率、降低成本助力颇大,有些数据可助力产品研发、业务拓展,有些数据可用于挖掘合作客户的价值,有些数据能够为市场营销部门赋能,甚至有些数据可完成上下游产业链的整合,为企业并购、整合、投资提供参考建议。发挥数据价值需要从前端应用进行思考,首先思考企业该匹配什么样的数据组织能力,进而调配资源、配备技术、汇聚能力,包括资本引入、品牌打造、人才培养、技术引进,从而帮助企业深入推进数字化转型。

3、数据建设方式对比

随着大数据时代的到来,集成式数据建设方式已不能完全胜任大数据产业的数据处理任务,这为国内数据建设方式的创新提供了成长机遇。数据中台的出现便是顺应了国内数字技术的发展与市场环境的变化。

3.1 传统集成式数据建设方式

下面以某公司为例回顾传统数据建设方式。该公司存续十年以上,未解决数据分析需求,因此购买了BI工具;后来,公司的数据量不断增多,又购置了大数据平台工具;再后来,数据越来越复杂,治理难度越来越大,便又配备了数据治理工具;之后,随着数据同步的要求越来越高,该企业又购买了数据同步工具。就这样随着时间的推移,该公司购买的数据工具越来越多,这些数据工具功能单一,无法满足业务部门不断变化的应用需求。

这是由于企业在采购信息化管理系统时,市场上提供的都是单一功能的产品,无法从整体上提供统一的、可架构的、可延展的信息管理系统。

而集成式数据建设方式虽然能为企业解决某些方面的数据管理问题,但因为企业采购的信息化管理系统隶属于不同厂商,型号不同,系统内对相同业务的定义和解决方式并不一样,所以各个系统只能解决各自的问题,系统内的数据无法自由流动,无法自行联通。譬如数据库、ETL工具、数据挖掘工具、数据分析工具等,均是企业进行信息管理的传统手段,但它们出自不同的厂家,具有不同的型号,仅能单独解决数据存储、数据加载、数据挖掘、数据分析等问题。

又比如,某银行具备良好的技术实力,在信息化管理方面投入较大,在业务数据、运营数据等数据应用链条上,至少配备了七八款信息化管理软件。对于银行来说,最大的难点在于不同的链条上采用了不同的产品,系统与系统之间的数据标准不一致,数据孤岛严重,且缺乏定制化的数据产品,最终导致数据应用出现方向偏差,比如数据治理完善且正确,数据模型建设正确,但无法确定是数据同步出现了问题还是底层的数据没有清洗干净。由于这种集成式的数据建设方式缺乏对数据行为的全面记录,数据出错无法溯源,项目失败无人负责,因此企业对信息化产品满意度低。

另外,从国外信息化系统软件厂商引进的产品普遍信息化建设程度高,信息化细分产品完善,但是每家公司仅专注于各自产品的功能规划与设计,并不对数据的整体应用负责。比如,ODS系统的销售公司仅关注对自家产品进行优化与服务提升,售卖数据仓库的软件厂商也并不关心自家产品是否能与其他信息系统无缝连接。软件厂商并不是从数据应用的角度提供产品,这导致国内公司在配置国外软件系统后会遇到数据联通弱、数据出错频繁、数据应用价值低等问题。

3.2 新型数据中台式数据建设方式

某电商巨头旗下的网购平台、支付平台等多个业务体系都由数据库提供服务。但随着“双11”现象级消费活动的举办,几何级的交易量对数据库的内存提出了更高的要求,而这意味着上亿元人民币的采购支出。于是,这个以业务拓展和需求满足为主要市场增长方式的电商巨头化身技术研发公司,开始自主研发数据库之路。在这个过程中,数据中台架构的价值得以挖掘。

从整体上看,中国各个行业内的数据复杂度非常高、数据应用空间非常大,这也决定了配置国外的信息化软件系统不再可行。

在数字时代,数据中台作为企业数字化转型的有力平台,改变了传统的数据集成建设方式,满足了企业海量数据价值挖掘的需求。对于企业来说,数据中台架构建设的首要价值在于数据出错时可以追本溯源,业务报表、数据字典、运营报表等都可以通过中台体系完成数据的跟踪、解析、更正。这不仅为业务单元的数据应用提供了干净的数据底料,还将技术人员从应付简单任务中解脱先来。

4、数据中台建设思路

数据中台是商业模式从IT时代进入DT时代的必然产物,是从流程驱动转向数据驱动的必然结果。以数据中台为导向,凭借数据证明或判断决策,形成数据服务思维,最终实现企业数字化转型。

数据中台建设模式颠覆了传统的数据架构建设模式,从数据信息出发,注重与业务部门的具体情况相结合,合理运用资源,提高服务效率。

4.1 传统数据架构建设思路—“建治用”

传统的数据架构建设模式并不注重与业务部门具体情况的结合,只是单纯地遵循数据“建治用”的思路—先构建数据架构,然后对数据进行治理,最后考虑数据的具体应用。比如,企业会从IaaS(基础设施即服务)层到不同的PaaS(平台即服务)层,到DaaS(数据即服务)层,再到SaaS(软件即服务)层等进行建设。部分企业在传统的数据架构建设过程中难免会走错方向。一些公司会先利用云技术进行数据迁云,将数据打通,然后再治理数据,制作报表,之后再开发各种应用。这种建设思路花费的周期较长,企业可能会因为长时间看不到业务的价值而停止建设。

企业需要一种更为敏捷的方式来建设数据架构,用效果来检验建设方式的科学性,即从数据应用角度出发,思考如何治理数据。

4.2 新型数据中台建设思路—“用治建”

新型数据中台建设模式是通过梳理数据应用方向,推动数据治理,最终搭建一个完整的数据中台架构,以快速响应企业多变的业务需求。下图是新型数中台构建设思路与传统数据架构建设思路的对比,展现了数据架构建设思路的原理。

企业可从以下三点规划数据中台架构的建设思路。

4.2.1 梳理战略地图、业务地图、应用地图

一些公司在建设数据中台的时候,无法利用数据资源挖掘能为业务创收的部分,不能达到架构搭建的预期效果。因此,企业在搭建数据中台时,相关人员需要通过对数据应用进行梳理,解决业务部门的各种问题,从而实现降本、增效、创收的目的。同时,企业数字化团队需要根据企业发展规划构建战略地图,根据业务发展方向及维度构建业务地图和应用地图,并通过应用地图清晰地治理数据,管理整个数据体系。

4.2.2 以应用地图反推数据地图,确定数据治理路线

企业完成应用地图的梳理后,进行人员和资本配置投入开发时,鉴于资源和人手有限,可以先基于应用地图梳理出的部分数据进行治理,从而构建数据地图。在企业数字化转型的过程中,决定资源调配及资金配给的往往是企业领导层,而他们在进行决策时往往会忽视数据分析的作用。因此,企业的CDO需要通过与领导层沟通,确定数据治理团队的人员配给及资源供给,从而顺利确定数据治理路线。

CDO可以以电子邮件、视频会议或头脑风暴等方式向下级传输已经确定完成的数据治理路线,使技术人员及业务人员熟悉数据治理的内容和要求,提高数据的利用价值、扩大数据的影响范围。

4.2.3 以数据应用推动新型数据中台架构建设

某些公司在构建数据中台的过程中,担心数据中台会造成新的“烟囱”。所以新型数据中台架构的建设要满足开放性、可扩展性、长期性的特点。基于开放的数据中台架构,技术功能和应用列表等内容可以随着业务的发展进行增加或删减。这种新型数据中台架构,避免了在应用过程中为适应前端业务部门需求不断更改架构更改而影响底层数据流通及应用的情况,具备高度的灵活性和可扩展性,可以帮助企业随时进行数据治理及应用,真正实现数字化转型。

可见,“建治用”的传统数据架构建设思路已经无法满足用户的需求,而“用治建”的新型数据中台建设思路将作为未来主流的数据架构建设思路被各类数字化转型企业广泛采用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/192587.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

桐庐县数据资源管理局领导一行莅临美创科技并带来感谢信

11月23日,浙江桐庐县数据资源管理局党组成员、副局长朱勃一行到访美创科技总部参观交流,并带来感谢信,对美创圆满完成护航亚运政务外网数据网站安全保障工作表示充分肯定。美创科技联合创始人、副总裁胡江涛等进行热情接待并开展交流座谈。 图…

LeetCode Hot100 437.路径总和III

题目: 给定一个二叉树的根节点 root ,和一个整数 targetSum ,求该二叉树里节点值之和等于 targetSum 的 路径 的数目。 路径 不需要从根节点开始,也不需要在叶子节点结束,但是路径方向必须是向下的(只能从…

skywalking 简单操作文档

1.1. 基础概念 1.1.1. 概述 SkyWalking是 apache基金会下面的一个开源 APM项目,为微服务架构和云原生架构系统设计。它通过探针自动收集所需的指标,并进行分布式追踪。通过这些调用链路以及指标,Skywalking APM会感知应用间关系和服务间关系…

LeetCode(34)有效的数独【矩阵】【中等】

目录 1.题目2.答案3.提交结果截图 链接: 36. 有效的数独 1.题目 请你判断一个 9 x 9 的数独是否有效。只需要 根据以下规则 ,验证已经填入的数字是否有效即可。 数字 1-9 在每一行只能出现一次。数字 1-9 在每一列只能出现一次。数字 1-9 在每一个以粗…

宏工科技通过CMMI三级认证,软件研发能力获国际权威认可

近日,宏工科技子公司湖南宏工软件成功通过CMMI三级认证并正式获得资质证书,斩获全球软件领域最权威的认证之一,标志着宏工科技在软件技术开发、研发管理、项目管理等多方面获得国际权威认证。 CMMI全称是Capability Maturity Model Integrati…

芯片技术探索:了解构芯片的设计与制造之旅

芯片技术探索:了解构芯片的设计与制造之旅 一、引言 随着现代科技的飞速发展,芯片作为信息技术的核心,已经渗透到我们生活的方方面面。从智能手机、电视、汽车到医疗设备和工业控制系统,芯片在各个领域都发挥着至关重要的作用。然而,对于大多数人来说,芯片仍然是一个神秘…

【23真题】罕见211!数一配英二!

今天分享的是23年合肥工业大学833的信号与系统数字信号处理试题及解析。合工大833考数一英二,这样的搭配还是很少见的。 本套试卷难度分析:22年合肥工业大学833考研真题,我也发布过,若有需要,戳这里自取!平均分为80和…

3D ACIS Modeler和HOOPS Visualize助力鲁班软件打造BIM数字化平台

鲁班软件成立于2001年,始终致力于BIM技术研发和推广,为建筑产业相关企业提供基于BIM技术的数字解决方案,专注打造能够支撑建筑企业集团发展的BIM数字化平台鲁班工程管理数字平台(Luban Builder),以及可承载园区级或城市级的BIM、C…

NX二次开发UF_CURVE_create_arc_point_center 函数介绍

文章作者:里海 来源网站:https://blog.csdn.net/WangPaiFeiXingYuan UF_CURVE_create_arc_point_center Defined in: uf_curve.h int UF_CURVE_create_arc_point_center(tag_t point, tag_t center, UF_CURVE_limit_p_t limit_p [ 2 ] , tag_t support…

IDEA插件:Apipost-Helper-2.0

我们在编写完接口代码后需要进行接口调试等操作,一般需要打开额外的调试工具。今天就给大家介绍一款IDEA插件:Apipost-Helper-2.0。用它,代码写完直接编辑器内调试、还支持生成接口文档、接口树等功能,并且完全免费!非…

3D模型材质编辑器

在线工具推荐: 3D数字孪生场景编辑器 - GLTF/GLB材质纹理编辑器 - 3D模型在线转换 - Three.js AI自动纹理开发包 - YOLO 虚幻合成数据生成器 - 三维模型预览图生成器 材质贴图(Texture Mapping):是在物体着色方面最引人注目、…

对称加密与非对称加密的区别是什么?

对称加密与非对称加密的区别是什么? 对称加密概念:好处和坏处:基本原理 非对称加密概念:工作原理: 两者区别安全性处理速度密钥管理通信双方数量 对称加密 概念: 同一个密钥可以同时用来对信息进行加密和…

如何在vs2017及以前版本(vs2010、vs2015)上添加 添加类型库中的MFC类

有时候当我们新建MFC工程需要使用到微软的一些自带控件,如播放视频要用到Windows media player控件,这时,我们可以通过添加“ActiveX控件中的mfc类(A)”这一选项. 还有有时候我们需要用到“类型库中的MFC类(T)及“MFC ODBC使用者(O)”。那我们…

血的教训------入侵redis之利用python来破解redis密码

血的教训------入侵redis之利用python来破解redis密码 利用强大的python来进行redis的密码破解,过程不亦乐乎,当然也可以用shell脚本 本篇文章只供学习交流,请勿他用,谢谢。 其他相关联的文章 [1]VMware安装部署kail镜像服务器【…

Linux操作系统使用及C高级编程-D15D16内存管理和动态内存使用

内存分区 使用size查看内存使用 动态内存使用 不能返回局部变量的引用,局部变量存放在栈区,空间随着函数结束自动释放 动态申请内存 内存泄漏和内存溢出

通付盾Web3专题 | SharkTeam:起底朝鲜APT组织Lazarus Group,攻击手法及洗钱模式

国家级APT(Advanced Persistent Threat,高级持续性威胁)组织是有国家背景支持的顶尖黑客团伙,专门针对特定目标进行长期的持续性网络攻击。朝鲜APT组织Lazarus Group就是非常活跃的一个APT团伙,其攻击目的主要以窃取资…

[ACTF2020 新生赛]BackupFile

打开题目就一句话:尝试找到源文件 和上一题一样,用dirsearch扫描网站找到了一下内容 flag.php,0B,虚假flag 瞅一眼index.php.bak是啥 下载了一个文件,把bak后缀删掉,打开了index.php源码 is_numeric()&am…

类 —— 封装、四类特殊成员函数、this指针、匿名对象、深浅拷贝问题

类 将同一类对象的所有属性都封装起来。 类中最基础的内容包括两部分,一个是属性、一个是行为。 ● 属性:表示一些特征项的数值,比如说:身高、体重、性别、肤色。这些属性都是名词。属性一般都以名词存在。属性的数值&#xff0c…

中科驭数受邀出席2023 ODCC冬季全会,共谋开放数据中心创新发展

近日,2023年开放数据中心委员会(简称“ODCC”)冬季全会在宁夏银川成功召开,中科驭数作为ODCC的新成员单位,受邀出席本次重要会议。 ▲ 中科驭数正式加入ODCC开放数据中心委员会 开放数据中心委员会是在中国通信标准化…

联邦学习Federated Learning(FL)

联邦学习Federated Learning 序言FL流程细节FL代码实现(Pytorch)Reference 序言 手机的数据涉及到个人隐私和安全,如果将客户端的数据上传到服务端,终究是很容易泄漏出用户的信息,何况 用户也不愿意把自己的数据交给服…