数新大数据平台迁移解决方案

随着企业的发展和数字化转型的不断深入，企业数据平台建设过去很多年，技术和架构过于落后，原有的大数据平台越来越难以满足业务需求。而在新的技术架构大数据平台的升级过程中，对数据和任务迁移的一致性、完整性有很高的要求，需要大量时间和精力的投入来保障，成为了企业数据平台升级的一大痛点。

数新网络的大数据平台迁移能力矩阵，能够有效支撑企业数据平台迁移的时效性、安全性、可靠性、稳定性。

企业数据平台迁移的挑战

1.数据完整性保障

大数据平台中的数据通常具有复杂的结构和多样的数据类型，在迁移过程中需要保证数据的一致性、完整性，避免数据丢失或损坏，尤其是在增量迁移过程中，需要确保新增数据的一致性。

2.数据任务迁移与适配

大数据平台的迁移过程中，除了进行数据迁移，通常还要进行数据处理脚本/任务迁移。需要在新平台上适配所有已开发的数据任务类型和数据处理逻辑，如果没有有效的工具支撑，需要消耗大量的人力成本。

3.停机服务时长

在整个迁移的过程中可能需要停止数据访问，将会影响企业正常的数据服务应用，需要制定详细的迁移与平台切换计划，尽量减少停机时间，避免数据服务中断。

4.稳定性验证

迁移完成后需要对目标大数据平台的稳定性进行验证，包括数据查询稳定性和数据处理任务的稳定性，确保迁移后系统能够正常运行并满足业务需求。

数新大数据平台迁移能力矩阵

数新网络拥有完善的大数据平台迁移方法论和丰富的实践经验，结合大数据平台迁移套件CyberMigration提供的迁移服务，能够实现元数据、集群数据、应用数据以及任务的高效迁移；拥有完善的数据验证方案，能够在满足时效性的同时，保障数据的完整性和一致性，解决企业数据迁移的痛点。

目前，数新网络已为诸多企业客户提供了范围涵盖大数据底座迁移、大数据开发治理平台迁移、应用层服务迁移的完整解决方案。

CyberMigration迁移服务

CyberMigration迁移服务主体内容包括元数据、数据、开发平台和开发任务的迁移。

1.CyberMigration元数据&数据迁移方案

元数据迁移包括数据结构、数据定义、数据关系、数据模型等数据实体对象的映射、转换、迁移。在表解析阶段，支持SQL转换，将导出的表信息转换为适应新平台的数据模型，动态创建表并生成相应元数据，能够覆盖客户80%以上语法兼容性问题。

CyberMigration能够满足离线、实时、全量、增量、整库等异构数据同步/迁移需求；同步引擎支持DataX、Spark、Flink等；资源管理支持Yarn或K8S。

大数据集群迁移方面，CyberMigration能够实现Hive元数据准实时同步，HBase准实时同步，HDFS同步分钟到小时级。适应多种应用场景，包括：满足数据跨域的高可用备份场景，确保数据不受单点故障影响；提供集群数据搬迁方案，解决搬站、迁云等场景下的数据同步需求；支持冷热集群数据迁移和分离存储，基于EC纠删码机制，节约数据存储成本。

2.CyberMigration数据开发平台&任务迁移方案

数据开发平台的迁移包括功能对齐、模式对齐、任务兼容、产品培训、最佳实践输出等。考虑到企业数据开发平台的使用习惯与学习成本，数新提供的一站式大数据开发治理平台CyberData采用模块化和可插拔的设计理念，可以拆分成不同的子产品以满足不同的需求，能够根据客户要求对迁移后的数据平台进行功能对齐，并且已对主流任务类型实现了全覆盖。

开发任务的迁移，包括大数据平台上的数据处理脚本、调度任务等数据开发工程的映射、转换、迁移和双跑验证。在批量导入任务之后，能够自动在目标数据平台生成任务、发布任务，基于统一的调度中心，与源数据平台同时运行，并通过专门的对比集群进行对比验证，以保证任务迁移的一致性。