1.背景
最近老是听见或看见”中台“的字眼,例如数据中台、业务中台,根本搞不懂是什么,就感觉挺高大尚的。但同时,作为技术人,对于这种可能用到又一无所知的东西,心里是发慌的,因此有了这篇文章。
2.什么是中台?
中台简单点说就是企业级的能力复用平台。
中台一般应用于大型企业,指搭建一个灵活快速应对变化的架构,快速实现前端提的需求,避免重复建设,达到提高工作效率目的。
中台,作为平台型组织的一部分,是在前台作战单元和后台资源部门之间的组织模块。这些模块多半是传统组织中所谓的成本中心,它们负责把后台的资源整合成前台打仗所需的“中间件”,方便随需调用。中台分为三类:业务中台、数据中台和组织中台。
领域应用
打造中台的企业越来越多,包括腾讯、百度、京东、美团、滴滴等企业,他们都在中台赛道上各显其能,希望借助于中台成功实现数字化升级
中台的类型
业务中台多半是传统的成本中心,把后台的资源整合成前台打造需要的“中间件”,方便被随需调用。典型的业务中台如字节跳动的直播中台、腾讯的技术中台等。“业务中台”也被称为“有形的中台”,因为是有实体部门存在的。
数据中台应该被称之为“业务中台的数据化”,其让资源和能力在极度共享后形成数据汇集,并基于算法进行智能决策,以支持业务中台和组织中台的运作。
组织中台由财务、人力、战略等部门向前台派出的业务伙伴(BusinessPartner, BP)组成的团队。BP团队会进入前台的小团队,用专业视角共同作战,同时也代表后台高效配置资源和政策。“组织中台”也被称为“无形的中台”,就是因为没有实体部门,像水一样,无孔不入地渗透到每个业务单元。
3.中台的来源?
中台是2019年开始火起来的一个概念,它最早是由阿里在2015年提出的“大中台,小前台”战略中延伸出来的概念,灵感来源于一家芬兰的小公司Supercell——一家仅有300名员工,却接连推出爆款游戏,是全球最会赚钱的明星游戏公司。2015年年中,马云带领阿里巴巴集团高管,拜访了位于芬兰赫尔辛基的这家移动游戏公司,这家看似很小的公司,设置了一个强大的技术平台,来支持众多的小团队进行游戏研发。这样一来,他们就可以专心创新,不用担心基础却又至关重要的技术支撑问题。恰恰是这家小公司,开创了中台的“玩法”,并将其运用到了极致。
4.为什么需要中台?
(1)避免重复造轮子:许多业务需求或功能需求高度类似、通用化程度很高,但是由于没有专门的团队负责规划和开发,大量的系统重复开发、重复建设,导致复用性低、效率低、产研资源浪费、用户体验不统一。
(2)烟囱式架构:早期业务发展过程中,为了解决一些当下的业务问题,垂直的、个性化的业务逻辑与基础系统耦合太深,由于没有平台性质的规划,横向系统之间、上下游系统之间的交叉逻辑也非常多,这样导致在新业务、新市场的拓展过程中,系统没法直接复用,甚至没法快速迭代。所以当有更多的用户留存,选择“去中心化”的分布式服务架构是必然的趋势。中台要解决的就是系统的扩展性问题。因为一旦有更多的用户访问,平台若不能扩展,可能给平台带来灾难性的后果。
(3)快速响应:因为在当今这样一个互联网时代,用户才是商业战场的中心,为了快速响应用户的需求,借助平台化的力量可以事半功倍。
5.什么是数据中台
中台中数据中台是最为火热的,因为数据是可以直接为企业决策提供支持,可以直接产生价值的。下面将具体分析一下什么是数据中台?
通俗来讲数据中台是指利用大数据技术,对海量数据统一进行采集、计算、存储,并且对外提供数据服务。数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的,高可用的大数据服务。
5.1.数据中台和大数据平台的区别?
大数据平台更关心技术层面的事情,包括研发效率,平台的大数据处理能力,针对的往往是技术人员。而数据中台的核心是数据服务能力,数据中台不仅面向技术人员,更需要面向多个部门的业务人员。
5.2.数据中台的演进过程
数据中台并不是一蹴而就,也是跟随时代的发展和企业的需求,一步一步演进出来的。
(1)数据库阶
最开始是数据库阶段,主要是OLTP(联机事务处理)的需求;
以淘宝为例,最开始淘宝还只是一个简单的网站,淘宝的整个结构就是前端的一些页面,加上后端的数据库,只是个简单的OLTP系统,主要就是交易的事务处理。这个阶段,互联网黄页才刚刚出现,数据来源大部分还是传统商业的ERP/CRM的结构化数据,数据量并不大,也就是GB的级别。简单的数据库就能满足需求。随着淘宝用户超过100万,分析需求的比重就越来越大。淘宝需要知道它的交易来自于哪些地区,来自于哪些人,谁在买淘宝的东西等等,于是,就进入了数据处理的第二个阶段:数据仓库阶段。
(2) 数据仓库阶段
数据仓库阶段,OLAP(联机分析处理)成为主要需求;
OLTP和OLAP对数据存储和计算的需求是不一样的,OLTP处理的是结构化的交易数据,而OLAP对应的是互联网数据,而互联网里面数据量最大的是日志,90%以上的数据都是用户点击之类的非结构化的日志数据,而且数据量已经达到了TB的级别。
针对分析需求,就诞生了数据仓库,数据仓库主要解决大量数据的存储和计算需求,也就是把非结构化的数据转化成结构化数据,存储下来。这个阶段,数据仓库支持的主要就是BI和报表需求。
随着数据量越来越大,从TB进入了PB级别,原来的技术架构越来越不能支持海量数据处理,这时候就进入了第三个阶段:数据平台阶段。
(3)数据平台阶段
主要解决BI和报表需求的技术问题;
这个阶段解决的还是BI和报表需求,但是主要是在解决底层的技术问题,也就是数据库架构设计的问题。
这在数据库技术领域被概括为「Shared Everything、Shared Nothing、或Shared Disk」,说的就是数据库架构设计本身的不同技术思路之争。Shared Everything一般是针对单个主机,完全透明共享CPU/MEMORY/IO,并行处理能力是最差的,典型的代表SQLServer。Shared Disk的代表是Oracle RAC,用户访问RAC就像访问一个数据库,但是这背后是一个集群,RAC来保证这个集群的数据一致性。问题在于Oracle RAC(实时应用集群)是基于IOE架构的(使用IBM的小型机、Oracle数据库、EMC存储设备)。在海量数据处理上,IOE架构有天然的限制,不适合未来的发展。Shared Nothing的代表就是Hadoop。Hadoop的并行处理和扩展能力更好。Hadoop的好处是如果要增加数据处理的能力和容量,只需要增加服务器就好,成本不高,在海量数据处理和大规模并行处理上有很大优势。
综上所述,第三阶段就是,建立Shared Nothing的海量数据处理平台来解决数据存储成本增长过快的问题。
(4)数据中台阶段
通过系统来对接OLTP(事务处理)和OLAP(报表分析)的需求,强调数据业务化的能力。
这个阶段的特征是数据量呈现指数级增长,从PB迈向了EB级别,未来会到什么量级,谁也说不清楚。
主要是因为,2015年之后,IOT(物联网)发展起来,带动了视频、图像、声音数据的增长,未来90%的数据可能都来自于视频、图像、声音这些非结构化数据,这些数据需要视觉计算技术、图像解析引擎+视频解析引擎+音频解析引擎来转换成结构化数据。5G技术的发展,可能会进一步放大视频、图像、声音数据的重要性。
线下要想和线上一样,通过数据来改善业务,就要和线上一样能做到行为可监测,数据可收集,这是前提。线下最大量的就是视频、图像、声音数据,而这些数据靠人来手工收集,肯定是不靠谱的,依靠IOT(物联网)技术和算法的进步,最终会通过智能端来自动化获取数据。
要使用这些数据,光有视觉算法和智能端也不行,要有云来存储和处理这些数据,以及打通其它领域的数据。目前的数据中台,最底层的数据平台还是偏技术的,是中台技术方案的其中一个组件,主要解决数据存储和计算的问题;在往上面就是一层数据服务层,数据服务层通过服务化API能够把数据和前台的业务层对接;数据中台里面都是系统去做对接,通过智能算法,能把前台的分析需求和交易需求去做对接,最终赋能业务。
5.3.数据中台和数据仓库的区别?
数据仓库主要支持管理决策和业务分析。
数据中台是将数据服务化之后提供给业务系统,目的是将数据能力渗透到各个业务环节,不限于决策分析类场景。
数据中台建设包含数据体系建设,也就是数据中台包含数据仓库的完整内容,所以说数据仓库阶段的成果是可以转化到数据中台阶段的,并不会全部推倒重做。
5.4.数据中台需要具备的四大能力
根据我们对数据中台的分析,总结起来,数据中台需要具备以下能力:
(1)数据汇聚整合
随着业务的发展,企业内部往往有多个信息部门和数据中心,大量系统、功能和应用重复建设,存在巨大的数据资源、计算资源和人力资源的浪费,同时组织壁垒也会导致数据孤岛的出现,使得内外部数据难以全局规划,数据中台需要对数据进行整合和完善。
(2)数据提纯加工
数据就像石油,需要经过提纯加工才能使用,这个过程就是数据资产化。
数据中台必须联通全域数据,通过统一的数据标准和质量体系,建设提纯加工后的标准数据资产体系,以满足企业业务对数据的需求。
(3)数据服务可视化
为了尽快让数据用起来,数据中台必须提供快捷,快速的数据服务能力,让相关人员能够迅速开发数据应用,支持数据资产场景化能力的快速输出,以响应客户的动态需求。
(4)数据价值变现
数据中台通过打通企业数据,提供以前单个部门无法提供的数据服务能力,以实现数据的更大价值变现。
6.什么是业务中台?
业务中台是指在企业内部将各业务领域的业务逻辑、流程和数据进行整合和重构,形成一个可复用、可扩展、可升级的中台平台,提供标准化的服务和产品,帮助企业实现业务协同和业务创新。
业务中台的作用主要有以下几点:
- 提高业务效率:通过整合业务流程和数据,避免重复开发和维护,提高业务处理效率和质量。
- 提高业务灵活性:业务中台具有可配置、可定制的特点,能够快速响应市场变化和业务需求变更,提高企业的业务灵活性。
- 提高业务创新:业务中台打破了各业务领域之间的壁垒,促进了业务的跨界合作和创新。
7.什么是技术中台?
技术中台是企业内部的一种技术架构,它可以支持多个业务系统的快速开发和集成。通过技术中台的建设,企业可以将一些通用的技术服务进行抽象和封装,形成一种统一的技术平台,供各个业务系统进行调用和使用。这样一来,企业可以避免技术重复开发,降低技术成本,提高技术的可复用性和可扩展性。
技术中台主要对内提供的服务主要有:
- 服务治理:中台通过服务治理来管理各种服务,包括服务注册、服务发现、服务路由、服务负载均衡等,以便于业务领域能够方便、快捷地使用中台的服务资源。
- 数据中心:数据中心是中台的核心组件之一,用于数据的存储和管理,包括数据的采集、清洗、分析和加工等。
- 消息队列:中台中的各个服务之间需要进行通信和协作,而消息队列可以用于异步通信,实现服务之间的解耦和高效的数据传输。
- 开发平台:为了方便业务领域使用中台的各种服务资源,中台需要提供统一的开发平台,包括服务注册、API管理、SDK下载、日志查看等。
- 监控报警:中台需要对各个组件和服务进行监控和报警,包括系统性能、服务质量、异常日志等,以确保系统的稳定性和可用性。