DataX数据同步（全量）

1. DataX简介

1.1 DataX概述

  DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
源码地址：https://github.com/alibaba/DataX

1.2 DataX支持的数据源

在这里插入图片描述
在这里插入图片描述

2. DataX架构原理

2.1 DataX设计理念

  为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
在这里插入图片描述

2.2 DataX框架设计

  DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。
在这里插入图片描述

2.3 DataX运行流程

  下面用一个DataX作业生命周期的时序图说明DataX的运行流程、核心概念以及每个概念之间的关系。
在这里插入图片描述

2.4 DateX调度决策思路

  举例来说，用户提交了一个DataX作业，并且配置了总的并发度为20，目的是对一个有100张分表的mysql数据源进行同步。DataX的调度决策思路是：
1）DataX Job根据分库分表切分策略，将同步工作分成100个Task。
2）根据配置的总的并发度20，以及每个Task Group的并发度5，DataX计算共需要分配4个TaskGroup。
3）4个TaskGroup平分100个Task，每一个TaskGroup负责运行25个Task。

3. DataX部署

1）下载DataX安装包并上传到hadoop102的/opt/software
2）解压datax.tar.gz到/opt/module

[atguigu@hadoop102 software]$ tar -zxvf datax.tar.gz -C /opt/module/

3）自检，执行如下命令

[atguigu@hadoop102 ~]$ python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json

出现如下内容，则表明安装成功
在这里插入图片描述

4. DataX使用

  DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。

[atguigu@hadoop102 datax]$ python bin/datax.py path/to/your/job.json

4.1 DataX配置文件格式

  可以使用如下命名查看DataX配置文件模板。

[atguigu@hadoop102 datax]$ python bin/datax.py -r mysqlreader -w hdfswriter

  配置文件模板如下，json最外层是一个job，job包含setting和content两部分，其中setting用于对整个job进行配置，content用户配置数据源和目的地。
在这里插入图片描述
Reader和Writer的具体参数可参考官方文档，地址如下：
https://github.com/alibaba/DataX/blob/master/README.md
在这里插入图片描述

4.2 同步MySQL数据到HDFS案例

  案例要求：同步gmall数据库中base_province表数据到HDFS的/base_province目录
需求分析：要实现该功能，需选用MySQLReader和HDFSWriter，MySQLReader具有两种模式分别是TableMode和QuerySQLMode，前者使用table，column，where等属性声明需要同步的数据；后者使用一条SQL查询语句声明需要同步的数据。本案例使用TableMode实现

1. Mysql数据库gmall的base_province表数据内容如下:

在这里插入图片描述

2. 编写datax的配置文件

[atguigu@hadoop102 ~]$ vim /opt/module/datax/job/base_province.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "where": "id>=3",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "table": [
                                    "base_province"
                                ]
                            }
                        ],
                        "password": "000000",
                        "splitPk": "",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

3. 配置文件说明

  1. Reader参数说明:
    在这里插入图片描述

  2. Writer参数说明
    在这里插入图片描述
    注意事项：
    HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。默认情况下，HFDS Writer会将null值存储为空字符串（‘’），而Hive默认的null值存储格式为\N。所以后期将DataX同步的文件导入Hive表就会出现问题。
    解决该问题的方案有两个：
    一是修改DataX HDFS Writer的源码，增加自定义null值存储格式的逻辑，可参考https://blog.csdn.net/u010834071/article/details/105506580。

  3. Setting参数说明
    在这里插入图片描述

4. 提交任务

（1）在HDFS创建/base_province目录
使用DataX向HDFS同步数据时，需确保目标路径已存在

[atguigu@hadoop102 datax]$ hadoop fs -mkdir /base_province

(2）进入DataX根目录

[atguigu@hadoop102 datax]$ cd /opt/module/datax

(3)执行如下命令

[atguigu@hadoop102 datax]$ python bin/datax.py job/base_province.json

(4)查看结果

  1. DataX打印日志
    在这里插入图片描述

  2. 查看HDFS文件
    在这里插入图片描述

4.3 同步MySQL数据到HDFS案例(DataX传参)

  通常情况下，离线数据同步任务需要每日定时重复执行，故HDFS上的目标路径通常会包含一层日期，以对每日同步的数据加以区分，也就是说每日同步数据的目标路径不是固定不变的，因此DataX配置文件中HDFS Writer的path参数的值应该是动态的。为实现这一效果，就需要使用DataX传参的功能。
DataX传参的用法如下，在JSON配置文件中使用${param}引用参数，在提交任务时使用-p"-Dparam=value"传入参数值，具体示例如下。

1. 修改配置文件base_province_param.json

[atguigu@hadoop102 ~]$ vim /opt/module/datax/job/base_province_param.json

2. 配置文件内容如下

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "querySql": [
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2 from base_province where id>=3"
                                ]
                            }
                        ],
                        "password": "000000",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province/${dt}",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

重点内容如下:
在这里插入图片描述

3. 提交任务

（1）创建目标路径

[atguigu@hadoop102 datax]$ hadoop fs -mkdir /base_province/2024-01-14

（2）进入DataX根目录

[atguigu@hadoop102 datax]$ cd /opt/module/datax

（3）执行如下命令

[atguigu@hadoop102 datax]$ python bin/datax.py -p"-Ddt=2024-01-14" job/base_province_param.json

在这里插入图片描述

（4）查看结果

[atguigu@hadoop102 datax]$ hadoop fs -ls /base_province

在这里插入图片描述

4.4 同步HDFS 数据到 Mysql案例

  案例要求：同步HDFS上的/base_province目录下的数据到MySQL gmall 数据库下的test_province表。
需求分析：要实现该功能，需选用HDFSReader和MySQLWriter。

1. 编写配置文件

（1）创建配置文件base_province_hdfsToMysql.json

[atguigu@hadoop102 ~]$ vim /opt/module/datax/job/base_province_hdfsToMysql.json

（2）配置文件内容如下

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "defaultFS": "hdfs://hadoop102:8020",
                        "path": "/base_province",
                        "column": [
                            "*"
                        ],
                        "fileType": "text",
                        "compress": "gzip",
                        "encoding": "UTF-8",
                        "nullFormat": "\\N",
                        "fieldDelimiter": "\t",
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "username": "root",
                        "password": "000000",
                        "connection": [
                            {
                                "table": [
                                    "test_province"
                                ],
                                "jdbcUrl": "jdbc:mysql://hadoop102:3306/gmall?useUnicode=true&characterEncoding=utf-8"
                            }
                        ],
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "writeMode": "replace"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

2. 配置文件说明

（1）Reader参数说明
在这里插入图片描述
（2）Writer参数说明
在这里插入图片描述

3. 提交任务

（1）在MySQL中创建gmall.test_province表

DROP TABLE IF EXISTS `test_province`;
CREATE TABLE `test_province`  (
  `id` bigint(20) NOT NULL,
  `name` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `region_id` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `area_code` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `iso_code` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `iso_3166_2` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

（2）进入DataX根目录

[atguigu@hadoop102 datax]$ cd /opt/module/datax

（3）执行如下命令

[atguigu@hadoop102 datax]$ python bin/datax.py job/base_province_hdfsToMysql.json

（4）查看结果

  • DataX打印日志
    在这里插入图片描述

  • mysql目标表数据
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/325235.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

第十讲 单片机驱动彩色液晶屏 控制RA8889软件:图像运算

第十讲 单片机驱动彩色液晶屏 控制RA8889软件:图像运算

单片机驱动TFT彩色液晶屏系列讲座 目录 第一讲 单片机最小系统STM32F103C6T6通过RA8889驱动彩色液晶屏播放视频 第二讲 单片机最小系统STM32F103C6T6控制RA8889驱动彩色液晶屏硬件框架 第三讲 单片机驱动彩色液晶屏 控制RA8889软件:如何初始化 第四讲 单片机驱动彩色液晶屏 控…
阅读更多...
【设计模式之美】重构（三）之解耦方法论：如何通过封装、抽象、模块化、中间层等解耦代码？

【设计模式之美】重构（三）之解耦方法论：如何通过封装、抽象、模块化、中间层等解耦代码？

文章目录 一. “解耦”概述二. 如何给代码“解耦”？1. 封装与抽象2. 中间层2.1. 引入中间层能**简化模块或类之间的依赖关系**。2.2. 引入中间层可以起到过渡的作用，能够让开发和重构同步进行，不互相干扰。 3. 模块化4. 其他设计思想和原则4.…
阅读更多...
[我的Rust库更新]get_local_info 0.2.3

[我的Rust库更新]get_local_info 0.2.3

今天收到西安城市开发者社区的文章收录通知，谢谢社区的肯定。 随即发布0.2.3版本，增加峰值算法。 get_local_info是一个获取linux本地信息的Rust三方库，其目标是降低获取本地linux系统信息的难度。支持银河麒麟10、UOS、鸿蒙等国产系统。 项…
阅读更多...
力扣hot100 只出现一次的数字 位运算

力扣hot100 只出现一次的数字 位运算

Problem: 136. 只出现一次的数字 文章目录 思路复杂度Code 思路 复杂度 时间复杂度: O ( n ) O(n) O(n) 空间复杂度: O ( n ) O(n) O(n) Code class Solution {public int singleNumber(int[] nums) {int res 0;for(int x : nums)res ^ x;return res;} }
阅读更多...
C#编程-使用反射检索元数据

C#编程-使用反射检索元数据

使用反射检索元数据 术语反射通常用来指镜像。如果您站在镜子面前，镜子会反射出您的所有物理属性，如：您的身高、肤色和身体结构。在C#中也一样，反射被用于反射程序有关的所有信息。C#程序可以利用反射获得类在运行时的信息。 反射在运行时获取类型信息的过程中被使用。提…
阅读更多...
C技能树-学习笔记（1-2）C语言概述和数据类型

C技能树-学习笔记（1-2）C语言概述和数据类型

参考：https://edu.csdn.net/skill/c 1、输出 “Hello, World!” 字符串，请选出错误答案。 2、错误的print函数。 for … in …：是python的语法，C语言的写法是for (;😉 3、C标准 没有C19标准。 4、了解C编译管道 …
阅读更多...
实战whisper：本地化部署通用语音识别模型

实战whisper：本地化部署通用语音识别模型

前言 Whisper 是一种通用语音识别模型。它是在大量不同音频数据集上进行训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。 这里呢，我将给出我的一些代码，来帮助你尽快实现【语音转文字】的服务部署。 以下…
阅读更多...
3.3.3 使用集线器的星形拓扑

3.3.3 使用集线器的星形拓扑

3.3.3 使用集线器的星形拓扑 集线器的一些特点 3.3.4 以太网的信道利用率 多个站在以太网上同时工作就可能会发生碰撞当发生碰撞时，信道资源实际上是被浪费了。因此，当扣除碰撞所造成的信道损失后，以太网总的信道利用率并不能达到100% 3.…
阅读更多...
星图地球——Landsat5_C2_SR_T1数据集

星图地球——Landsat5_C2_SR_T1数据集

数据简介： Landsat5_C2_SR数据集是经大气校正后的地表反射率数据，属于Collection2的二级数据产品，空间分辨率为30米，基于Landsat生态系统扰动自适应处理系统(LEDAPS)(版本3.4.0)生成。水汽、臭氧、大气高度、气溶胶光学厚度、数字…
阅读更多...
github访问不了解决方法

github访问不了解决方法

github突然无法访问，解决办法如下： 1、首先通过网址GitHub.com - GitHub: Lets build from here GitHub查看当前github.com对应的IP地址，查到的信息如下图所示 2、修改hosts文件，windows系统下修改 C:\Windows\System32\driver…
阅读更多...
关于前端面试中forEach方法的灵魂7问？

关于前端面试中forEach方法的灵魂7问？

目录 前言 一、forEach方法支持处理异步函数吗？ 二、forEach方法在循环过程中能中断吗？ 三、forEach 在删除自己的元素后能重置索引吗？ 四、forEach 的性能相比for循环哪个好？ 五、使用 forEach 会不会改变原来的数组&#…
阅读更多...
步进电机基本原理详解

步进电机基本原理详解

步进电机基本原理 步进电机是一种将电脉冲信号转换成相应角位移或线位移的电动机。 区别于以电压或电流作为控制信号，被控制量是转速的电动机。 每输入一个脉冲信号，转子就转动一个角度或前进一步，其输出的角位移或线位移与输入的脉冲数成正…
阅读更多...
electron+vue项目使用serialport报错Cannot read property ‘indexOf‘ of undefined解决办法

electron+vue项目使用serialport报错Cannot read property ‘indexOf‘ of undefined解决办法

描述 使用ElectronVue项目时引入serialport串口后启动时报下面错误 Cannot read property indexOf of undefined解决方法 打开vue.config.js找到pluginOptions -> electronBuilder -> externals添加serialport module.exports {pluginOptions: {electronBuilder: {e…
阅读更多...
SAP中采购文档价格条件可以删除吗？

SAP中采购文档价格条件可以删除吗？

首先要声名，基于采购价格条件的严谨性和历史追朔需求，删除属于危险操作。不建议普通用户去执行操作。如果有兴趣，在测试系统中自行测试一下即可。正式系统中，还请慎重处理。 笔者公司日常不会去删除采购价格，日常处理…
阅读更多...
网络共享服务

网络共享服务

存储类型：直连式（DAS）:距离最近，存储设备且直接连接到服务器上 存储区域网络（SAN）：适用于大型应用或数据库系统，可以使用文件的空间， 以及管理空间…
阅读更多...
【发票识别】支持pdf、ofd、图片格式（orc、信息提取）的发票

【发票识别】支持pdf、ofd、图片格式（orc、信息提取）的发票

背景 为了能够满足识别各种发票的功能，特地开发了当前发票识别的功能，当前的功能支持pdf、ofd、图片格式的发票识别，使用到的技术包括文本提取匹配、ocr识别和信息提取等相关的技术，用到机器学习和深度学习的相关技术。 体验 体…
阅读更多...
【蓝桥杯日记】第二篇——递归问题的处理

【蓝桥杯日记】第二篇——递归问题的处理

目录 前言 递归 递归解决的问题 递归的三要素 递归的练习（由浅入深） 1.循环改为递归 2.斐波那契 3.汉诺塔问题 总结 前言 大家好呀！我是大雄！一个菜鸡！接下来的几个月和大家分享一下自己在备战蓝桥中遇到的…
阅读更多...
Vue学习计划-Vue3--核心语法（十）Proxy响应式原理

Vue学习计划-Vue3--核心语法（十）Proxy响应式原理

Proxy响应式原理 1.Vue2的响应式 实现原理： 对象类型：通过Object.defineProperty()对属性的读取、修改进行拦截（数据劫持）数组类型：通过重写更新数组的一系列方法来实现拦截，（对数组的变更方法…
阅读更多...
【Linux】各目录说明

【Linux】各目录说明

【常见目录说明】 目录 /bin 存放二进制可执行文件(ls,cat,mkdir等)，常用命令一般都在这里。 /etc 存放系统管理和配置文件 /home 存放所有用户文件的根目录，是用户主目录的基点，比如用户user的主目录就是/home/user，可以…
阅读更多...
浅谈智慧路灯安全智能供电方案设计

浅谈智慧路灯安全智能供电方案设计

摘要: 智慧路灯，作为智慧城市、新基建、城市更新的主要组成部分，近些年在各大城市已得到很好的落地和 应用，但其与传统路灯相比集成大量异元异构电子设备，这些设备的供电电压、接口形式、权属单位各不相同， 如何设计一…
阅读更多...
最新文章

Copyright @ 2022~2023