大宗商品贸易集团数据治理实践，夯实数字基座

大宗商品贸易集团数据治理实践，夯实数字基座 | 数字化标杆

某大型央企是首批全国供应链创新与应用示范企业，在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主，其交易往往具有交易量巨大、交易环节复杂、风险交易难识别、风险客商难管控等痛点。

随着集团数字化转型不断深化，数据应用方面的需求不断扩展。但集团缺乏统一的大数据资产管理平台，导致在数据应用方面，出现数据价值不凸显、数据标准不统一、数据质量不可控、数据共享不畅通等问题。

在此背景下，该集团引入袋鼠云数据治理团队，立足于打造全集团统一，能满足覆盖运管、风控、业务全过程数字化经营管理及分析决策的统一数据资产平台。对集团现有存量数据进行数据治理及挖掘，搭建数据管理体系，对增量数据进行有效管理和应用。通过梳理目前集团所有存量数据，提炼运营指标及管理指标，科学化管理公司数据资产和挖掘数据价值。

01 围绕“数据治理、数据服务、数据应用”的数据治理方案

袋鼠云根据集团提出的数据治理需求，结合内部现有数据开发平台，以业务应用场景为导向，形成集团统一的数据治理方案。项目以数据治理、数据服务、数据应用三大方向展开实施，其中数据应用以聚焦供应链运营管理业务为核心，数据服务以满足集团下属各子公司数据需求为主，数据治理以统一集团数据归集方式、数据质量标准、元数据维护标准、数据建模标准为目标进行建设。

其中数据治理设计的步骤为：确定当前项目的目标和范围，设计本轮数据治理的模式、架构和方法。以集团当前提出的数据需求场景出发，针对场景数据进行数据治理，主要包括以下几个步骤

1、架构设计

技术架构上，从场景需求出发，结合当前企业组织架构及数据权限出发，将数据中台设计为多项目空间加经典ODS、DWD、DWS、ADS四层结构，其中集团为主项目空间，其余业务供应链平台为子项目空间。另外，根据前期调研结果，结合当前集团业务范围，将业务根据业务主体进行了数据域的设计与划分，其中重点建设数据域为：

1）客商域：企业所服务的所有客户及供应商； 2）商品域：企业自营或代理商品，SKU； 3）交易域：客户与企业发生的所有交易行为，包括交易合同，订单，采购等； 4）风险域：企业发生诉讼，处罚等风险数据； 5）仓储物流域：所有仓库出入库，在途等信息； 6）公共域：系统码值，参数信息，组织架构，人员以及标准化映射信息。

通过分层与分域的设计，将集团原本传统数据架构转变为新数据架构，统一源端数据，建设公共事实层，建设服务层最后满足各个不同需求，有效解决传统数据架构存在的数据孤立，事实重复建设，资产盘点困难等问题，更适应当前集团发展阶段诉求。

file

2、数据统一归集

当前集团源端数据大体分为三类：第一种是传统业务数据，包含SAP系统、MDM系统、CRM系统、云链、高达、南北、OA等系统；第二种是第三方数据，包含船讯网、启信宝、行情数据、价格数据等；第三种是其他手工填报数据。

其中传统业务数据存在数据源多，数据量级分布不均，部分系统只能取得界面全量数据或为高度汇总报表数据等问题，使用数栈底层数据同步工具FlinkX将不同数据接入数据中台中。

第三方数据使用PySpark脚本任务，通过调取特定的API服务接口，完成数据的采集及简单清洗，接入数据中台。

手工填报数据通过完成填报报表的初步设计后，回流手工填报平台（当前使用饭软），进行定期同步、定期填报、定期回流采集的形式来完成数据的收集。

file

3、数据集中处理及标准设计

从架构设计出发，对已接入的源端数据，进行明细事实层的建模设计，进行指标体系的统计和收集。

明细事实层的建模设计秉持维度建模理念，根据不同的主题域，将ODS层数据进行特定范围的清洗，处理，加工后形成可复用性强的描述某一颗粒度下，某一业务行为的各项信息，纵向可以进行上钻下钻，横向可以对比。

针对指标层的加工处理，在引入数据中台之前，数据计算逻辑、指标口径都存放在SAP系统的代码中，无法进行有效复用。为了解决这一问题，根据指标体系设计方法论，统一定义指标体系的各信息（包含指标ID、指标名称、指标主题、业务口径、维度、修饰词、计算方式、计算频率、时间周期、业务对接人及开发负责人），在接下来企业的数据应用过程中，完成数据指标口径的收口和统一。