基于OMS构建OceanBase容灾双活架构的实践

在实际生产环境中，对于关键业务，往往会有容灾双活的需求。除了OceanBase提供的主备库能力，通过官方工具OMS也可以实现容灾双活架构。目前，通过OMS实现的双活架构仅支持OceanBase数据库之间的数据同步。

要通过OMS实现双活架构，用户需要在各地域都部署OMS系统。若仅在单地域进行部署，则无法通过OMS实施双活架构。需要注意的是，在创建数据源时，两端的OceanBase集群也需要位于不同的地域，以满足异地双活架构的配置要求。

具体的安装配置过程，这里做了一个测试案例，并记录整个双活搭建的过程，以供大家参考。

环境准备

安装准备

OMS的多地域部署详细步骤也可以参考官网文档：OMS多地域部署

首先，需要在官网下载OMS安装包：官网下载地址，选择OceanBase迁移服务的安装包；

通过docker load -i <下载下来的安装包>的方式，将OMS镜像加载到本地（需要安装docker，版本不低于V1.13）；

如果需要部署influxdb，可以使用docker或者本地部署的方式，这里采用和官网一样，docker部署，目前支持的时序数据库为 InfluxDB 1.8 版本；

环境资源规划
IP地址角色地域
172.24.255.16OMS的元数据库其他
172.24.255.24OMS节点1 & influxdb北京
172.24.255.25OMS节点2杭州
172.24.255.17源端OBServer节点北京
172.24.255.18目标端OBServer节点杭州

安装部署

安装influxdb（可选）

安装inflxudb之后，可以监控数据同步链路情况。

influxdb安装配置如下

# 运行influxdb docker环境
[root@oms oms]# sudo docker run  -dit -p 8086:8086 -p 14444:14444 \
> -v /omsdata:/var/lib/influxdb \
> --env INFLUXDB_BIND_ADDRESS=127.0.0.1:14444 \
> --env INFLUXDB_HTTP_AUTH_ENABLED=true \
> --env INFLUXDB_HTTP_PING_AUTH_ENABLED=true \
> --name=oms-influxdb \
> influxdb:1.8
95dedec9ea51147898d56b74dfaf021fba3543e8e1d903364f4a907af812c424

# 查看influxdb docker
[root@oms oms]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                                              NAMES
95dedec9ea51        influxdb:1.8        "/entrypoint.sh in..."   5 seconds ago       Up 5 seconds        0.0.0.0:8086->8086/tcp, 0.0.0.0:14444->14444/tcp   oms-influxdb

# 进入容器中进行配置
[root@oms oms]# docker exec -it 95dedec9ea51 /bin/bash
root@95dedec9ea51:/# cd /usr/bin

# 创建用户，提供OMS连接
root@95dedec9ea51:/usr/bin# ./influx
Connected to http://localhost:8086 version 1.8.3
InfluxDB shell version: 1.8.3
> create user admin with password 'xxxxxx' with all privileges;
> exit
root@95dedec9ea51:/usr/bin# exit
exit
[root@oms oms]#

创建OMS配置文件

这里使用有配置文件的方式进行部署，配置文件内容如下：

# OMS 元数据库信息
oms_meta_host: 172.24.255.16
oms_meta_port: 2881
oms_meta_user: root@租户名  # 已为OMS创建好对应的租户，并设置了登陆密码
oms_meta_password: xxxxxx

# 用户可以自定义以下三个数据库的名称，OMS 部署时会在元信息库中创建出这三个数据库
drc_rm_db: drc_rm_db
drc_cm_db: drc_cm_db
drc_cm_heartbeat_db: drc_cm_heartbeat_db

# OMS 集群配置
# 单节点部署时，通常配置为当前 OMS 机器 IP（建议使用内网 IP）
cm_url: http://172.24.255.24:8088
cm_location: 100
# 单节点部署时，无需设置 cm_region
cm_region: cn-beijing
# 单节点部署时，无需设置 cm_region_cn
cm_region_cn: 北京
cm_is_default: true
cm_nodes:
 - 172.24.255.24

# 时序数据库配置
# 默认值为 false。如果您需要开启指标汇报功能，请设置为 true
tsdb_enabled: true
# 当 tsdb_enabled 为 true 时，请取消下述参数的注释并根据实际情况填写
tsdb_service: 'INFLUXDB'
tsdb_url: '172.24.255.24:8086'
tsdb_username: admin
tsdb_password: xxxxxx

注意，如果这里每个地域要部署多个OMS服务的话，cm_url 需要配置为当前地域所有 CM 隶属的一个 VIP 或域名下。这里因为北京和杭州两个地域，每个地域只部署一个节点，所以直接在每个地域选择使用本地节点IP。

安装OMS多地域
# 查看oms镜像
[root@oms oms]# docker images
REPOSITORY                                 TAG                 IMAGE ID            CREATED             SIZE
reg.docker.alibaba-inc.com/oceanbase/oms   feature_4.1.1_ce    258282c19081        5 weeks ago         3.82 GB
influxdb                                   1.8                 c15aefdd926b        2 years ago         307 MB

# 获取部署脚本
[root@oms oms]# sudo docker run -d --name oms-config-tool 258282c19081 bash && sudo docker cp oms-config-tool:/root/docker_remote_deploy.sh . && sudo docker rm -f oms-config-tool

# 执行安装部署，安装提示，一步一步进行选择
[root@oms oms]# sh docker_remote_deploy.sh -o /omsdata -c /opt/oms/oms_config.yaml -i 172.24.255.24 -d 258282c19081

提示：输入 <Control-C> 可退出部署

请选择部署模式：
 单地域单节点
 单地域多节点
●多地域
您选择的部署模式是：多地域部署模式
请选择您所需要进行的任务：
 无配置文件，全新部署 OMS，从生成配置文件开始
●已通过脚本[-c]选项传入参考配置文件，基于参考配置文件开始配置
已加载您的所有配置项，并校验通过。
您的配置如下：
{
    "apsara_audit_enable": "false",
    "apsara_audit_sls_access_key": "",
    "apsara_audit_sls_access_secret": "",
    "apsara_audit_sls_endpoint": "",
    "apsara_audit_sls_ops_site_topic": "",
    "apsara_audit_sls_user_site_topic": "",
    "cm_is_default": true,
    "cm_location": "100",
    "cm_nodes": [
        "172.24.255.24"
    ],
    "cm_region": "cn-beijing",
    "cm_region_cn": "北京",
    "cm_url": "http://172.24.255.24:8088",
    "drc_cm_db": "drc_cm_db",
    "drc_cm_heartbeat_db": "drc_cm_heartbeat_db",
    "drc_rm_db": "drc_rm_db",
    "oms_meta_host": "172.24.255.16",
    "oms_meta_password": "xxxxxx",
    "oms_meta_port": "2881",
    "oms_meta_user": "root@租户名",
    "tsdb_enabled": true,
    "tsdb_password": "xxxxxx",
    "tsdb_service": "INFLUXDB",
    "tsdb_url": "172.24.255.24:8086",
    "tsdb_username": "admin"
}

[y/n] 您是否需要重新配置？[n]n
您是需要在当前执行的机器上
接下来 OMS 需要在节点 ['172.24.255.24'] 上依次执行部署脚本。
请输入节点 172.24.255.24 上预备部署 OMS 的挂载目录：[/omsdata/]/omsdata/
请您确认以下内容：
[y/n] 部署 OMS 的 [镜像名/IMAGE-ID] 是：258282c19081 ，请确认是否正确。[y]y
[y/n] 是否需要在 OMS 容器中挂载 HTTPS 证书？[n]n
[y/n] 172.24.255.24 节点下的配置文件 config.yaml 将写在这个路径：/omsdata/ 下可以吗？[y]y


1d7e4d1df16c456474a71636ae73e01acb3f7b156376b43a7b32821de00ba751
[CHECK] Check the validity of config.yaml format.
[PASSED]
[CHECK] Check the version of Docker on the host machine.
Docker version is: 1.13.1.
[PASSED]
[CHECK] Check the synchronization between the MetaDB clock and the machine clock.
[PASSED]
Waiting docker_cmd.sh to finished
......

当出现如下：“【结束】全部初始化步骤执行成功”，则表示第一个地域已经安装完成

2023-09-08 16:34:10,322-urllib3.connectionpool-DEBUG connectionpool._new_conn.249 :Starting new HTTP connection (1): 172.24.255.24:8088
2023-09-08 16:34:10,343-urllib3.connectionpool-DEBUG connectionpool._make_request.482 :http://172.24.255.24:8088 "POST /consumer/create HTTP/1.1" 200 35
{"consumer":"drc","isSuccess":true}


--------------------------------------------------------------------------------
# 【结束】全部初始化步骤执行成功
--------------------------------------------------------------------------------

安装完成之后，因为是多地域，所以安装程序不会直接退出，接着需要配置和安装其他地域的oms

[y/n] 已完成地域：[['cn-beijing']]的部署，需要在新的地域上部署吗？[y]y
您选择的部署模式为多地域部署模式
请输入英文地域标识，如：cn-hangzhou：[cn-beijing]cn-hangzhou
请输入中文地域标识，如：杭州：[北京]杭州
请输入 OMS 集群管理服务的地址(即当前地域所有 CM 机器挂载的同一个 VIP 或域名，原配置项名称为：cm_url)：[http://172.24.255.24:8088]http://172.24.255.25:8088
请依次输入本地域中所有机器 IP 地址，用","分隔：[172.24.255.24]172.24.255.25
请为当前地域（杭州）设置一个地域编号，范围为[0,127]：[100]101
您的 OMS 集群配置如下：
{
    "cm_is_default": false,
    "cm_location": "101",
    "cm_nodes": [
        "172.24.255.25"
    ],
    "cm_region": "cn-hangzhou",
    "cm_region_cn": "杭州",
    "cm_url": "http://172.24.255.25:8088"
}

[y/n] 请确认配置信息[y]y
接下来 OMS 需要在节点 ['172.24.255.25'] 上依次执行部署脚本。
请输入节点 172.24.255.25 上预备部署 OMS 的挂载目录：[/omsdata/]/omsdata/
请您确认以下内容：
[y/n] 部署 OMS 的 [镜像名/IMAGE-ID] 是：258282c19081 ，请确认是否正确。[y]y
[y/n] 是否需要在 OMS 容器中挂载 HTTPS 证书？[n]n
[y/n] 检查到待部署节点 172.24.255.25 与当前执行部署工具所在机器 IP 不一致，是否远程执行脚本（需要远程节点 172.24.255.25 能够通过 SSH 连接，用户具有远程节点上 sudo 权限）[y]y
[y/n] 请确认节点 172.24.255.25 的端口 22 是否能够通过 SSH 连通？[y]y
请输入节点：172.24.255.25 的用户名：root
请输入节点：172.24.255.25 的密码：***********
[y/n] 172.24.255.25 节点下的配置文件 config.yaml 将写在这个路径：/omsdata/ 下可以吗？[y]y
1b10361403d14e4584a53ef930737b7579dfd2f6da8c9f524b6a8c418dde302e
oceanbaseV5
[CHECK] Check the validity of config.yaml format.
[PASSED]
[CHECK] Check the version of Docker on the host machine.
Docker version is: 1.13.1.
[PASSED]
[CHECK] Check the synchronization between the MetaDB clock and the machine clock.
[PASSED]
Waiting docker_cmd.sh to finished
......

等待部署成功，部署完成之后，会提示已经安装完成哪些地域。如果不需要再安装新的地域，输入n退出即可。

2023-09-08 16:39:27,700-urllib3.connectionpool-DEBUG connectionpool._new_conn.249 :Starting new HTTP connection (1): 172.24.255.25:8088
2023-09-08 16:39:27,716-urllib3.connectionpool-DEBUG connectionpool._make_request.482 :http://172.24.255.25:8088 "POST /consumer/create HTTP/1.1" 200 116
{"errMsg":"com.alibaba.drc.exception.CMBizException: Consumer [drc] already exists","errCode":302,"isSuccess":false}


--------------------------------------------------------------------------------
# 【结束】全部初始化步骤执行成功
--------------------------------------------------------------------------------
[y/n] 已完成地域：[['cn-beijing', 'cn-hangzhou']]的部署，需要在新的地域上部署吗？[y]n
[root@oms oms]#

登陆访问OMS

这个时候无论访问 http://172.24.255.24:8089 还是 http://172.24.255.25:8089 都是可以的，这块也可以使用负载均衡，可以实现当其中一个oms挂了，不影响oms的访问和登陆。

OceanBase集群双活搭建

可参照官网文档 OceanBase 社区版之间的容灾双活，介绍了搭建容灾双活的使用限制和注意事项等。搭建容灾双活，需要依赖于OCP或者ConfigServer，ConfigServer安装部署可参考官网博客文档：【SOP 系列 15】configserver 安装和使用。

容灾双活需要创建两条同步链路，分别为正向同步链路和反向同步链路。

创建数据源

OMS多地域部署之后，在创建数据源时，如下图可以选择数据源为多个地域

1702609289

当OceanBase作为源数据库做增量同步时，需要指定OCP或者ConfigServer组件，这里先关联下已部署的OCP

1702609306

在数据源管理页面，创建双活两端的数据源

1702609320

创建完成之后如下，两个数据源分别在不同的地域

1702609339

创建正向同步链路

在数据迁移页面，开始创建正向同步链路

1702609356

选择好数据源之后，在使用场景这里选择容灾双活

1702609374

第二步，这里选择迁移类型，根据实际情况进行选择

1702609393

因为OceanBase作为源端，并且需要做增量同步，因此这里需要关联下OCP，填写账号密码

1702609411

如果没有OCP，这里也可以用ConfigUrl，如果单独安装了ConfigServer

1702609428

选择要同步的表

1702609464

迁移选项配置

1702609480

预检查

1702609496

出现如下警告，可以进到OceanBase数据库中做下修改

目标端数据库 max_allowed_packet 参数小于预期值 8388608 B，可能会导致数据迁移性能不佳。对目标端 OceanBase 的情况，建议 MySQL 模式 >= 8MB，Oracle 模式 >= 64MB，命令设置：set global max_allowed_packet=8388608。

开始同步

1702609514

此时已完成正向的同步链路创建，要想实现双活，还需要反向进行同步

1702609530

创建反向同步链路

反向同步链路创建方式与正向基本一致，不过需要注意的是在迁移类型部分

1702609546

迁移类型这里，不能再选择结构迁移和全量迁移，因为结构和全量数据已经通过正向链路进行了同步，并且不能同步DDL，正向和反向链路，只能有一个开启同步DDL，因此在这里只选择增量同步。

1702609565

其他的步骤都基本一样

1702609584

保存之后点击下一步

1702609602

配置迁移选项

1702609628

预检查

1702609649

开始同步

1702609667

双活测试

以下是双活的测试过程：

1702609684

分别开启两个窗口，连接两端的OceanBase数据库：

1、在OB1插入两条数据，可以在OB2端看到数据同步过去；

2、在OB2插入两条数据，可以看到在OB1端也同步过来；

3、在OB1端创建一张表，在OB2端该表结构也做了同步；

4、在OB2端对新建表插入数据，在OB1端可以查到插入的数据；

5、在OB1端对表结构进行变更，在OB2端可以看到变更成功。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/872895.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Spring之Bean的生命周期 2024-9-6 19:47

Spring之Bean的生命周期 2024-9-6 19:47

目录 什么是Bean的生命周期为什么要知道Bean的生命周期Bean的生命周期之5步Bean生命周期之7步Bean生命周期之10步 声明&#xff1a;本章博客内容采自老杜2022spring6 语雀文档 什么是Bean的生命周期 Spring其实就是一个管理Bean对象的工厂。它负责对象的创建&#xff0c;对象的…
阅读更多...
关于鸿蒙开发中Stage应用模型的相关介绍

关于鸿蒙开发中Stage应用模型的相关介绍

应用模型 是系统为开发者提供的应用程序所需能力的抽象提炼&#xff0c;它提供了应用程序必备的组件和运行机制。 简言之&#xff1a;应用模型就是 应用的施工图纸&#xff0c;他规范了&#xff1a;程序运行流程、项目结构、文件功能等…… 了解应用模型之后&#xff0c;就可…
阅读更多...
ELK学习笔记（二）——使用K8S部署Kibana8.15.0

ELK学习笔记（二）——使用K8S部署Kibana8.15.0

上篇文章我们完成了&#xff0c;ES的集群部署&#xff0c;如果还没有看过上篇文章的兄弟&#xff0c;可以去看看。 ELK学习笔记&#xff08;一&#xff09;——使用K8S部署ElasticSearch8.15.0集群 话不多说&#xff0c;接下来直接进入kibana的搭建 一、下载镜像 #1、下载官方…
阅读更多...
JS 封装方式

JS 封装方式

引言&#xff1a;本人是后台服务端开发的&#xff0c;前端的 js 都是在 html 中的 script 标签中写的&#xff0c;处理下数据啥&#xff0c;如果要有需要公共使用的方法啥的都是把方法直接丢在一个 js 文件里&#xff0c;然后 html 引入使用&#xff0c;没有关注过 js 的封装。…
阅读更多...
【JavaEE初阶】多线程(2)

【JavaEE初阶】多线程(2)

欢迎关注个人主页&#xff1a;逸狼 创造不易&#xff0c;可以点点赞吗~ 如有错误&#xff0c;欢迎指出~ 目录 线程的核心操作 创建线程start 线程的状态 线程的终止 定义一个变量实现 利用标志位实现 加上break/return 结束线程 线程等待 join 无参数版本 两个线程等待 多个线…
阅读更多...
如何从 Bak 文件中恢复 SQL数据库？（3种方法）

如何从 Bak 文件中恢复 SQL数据库？（3种方法）

如何从 .bak 文件恢复 SQL数据库&#xff1f; 在数据库管理和维护过程中&#xff0c;数据的安全性和完整性至关重要。备份文件&#xff08;.bak 文件&#xff09;是 SQL Server 中常用的数据库备份格式&#xff0c;它包含了数据库的完整副本&#xff0c;用于在数据丢失、系统故…
阅读更多...
iLogtail 开源两周年：社区使用调查报告

iLogtail 开源两周年：社区使用调查报告

作者&#xff1a;玄飏 iLogtail 作为阿里云开源的可观测数据采集器&#xff0c;以其高效、灵活和可扩展的特性&#xff0c;在可观测采集、处理与分析领域受到了广泛的关注与应用。在 iLogtail 两周年之际&#xff0c;我们对 iLogtail 开源社区进行了一次使用调研&#xff0c;旨…
阅读更多...
Java入门：07.Java中的面向对象02

Java入门：07.Java中的面向对象02

5 对象的使用 对象有两种使用情况 情况一&#xff1a; 对象本身&#xff0c;是一个引用类型的数据 所以他也可以像其他的所有数据一样&#xff0c;进行操作 如&#xff1a;存储&#xff0c;打印等。 int i 10 ; print(10) ; ​ //最终存储在变量中的是对象的地址。 Perso…
阅读更多...
歌者PPT新功能速递！

歌者PPT新功能速递！

本期功能更新&#xff0c;主要围绕 PPT 大纲编辑器和 PPT 翻译功能&#xff0c;全面提升了制作效率和灵活性&#xff0c;帮助你更轻松地完成 PPT 制作&#xff01;一起来看看吧&#xff5e;&#x1f447; # 功能更新 1 PPT 大纲编辑器全面更新 &#x1f4dd; 现在&#xff0c…
阅读更多...
解决Metasploit调用Nessus报错问题

解决Metasploit调用Nessus报错问题

问题描述 Error while running command nessus_scan_new: undefined method []’ for nil:NilClass 解决方法 发现报错&#xff0c;经过网上查询解决方法 在Nessus服务器执行&#xff0c;下面的版本号可能有所不同&#xff0c;根据自己的情况更改&#xff0c;需要管理员身份执…
阅读更多...
FreeRTOS学习笔记（二）任务基础篇

FreeRTOS学习笔记（二）任务基础篇

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、 任务的基本内容1.1 任务的基本特点1.2 任务的状态1.3 任务控制块——任务的“身份证” 二、 任务的实现2.1 定义任务函数2.2 创建任务2.3 启动任务调度器2…
阅读更多...
HOT 100（六）二分查找、栈

HOT 100（六）二分查找、栈

一、二分查找 1、搜索插入位置 初始化左右边界&#xff1a;left 指向数组的起始位置&#xff0c;right 指向数组的末尾。二分查找过程&#xff1a;不断计算中间位置 mid&#xff0c;根据 nums[mid] 与目标值 target 的比较结果&#xff0c;调整 left 和 right&#xff0c;从而…
阅读更多...
Lenze伦茨E82ZBC, E82ZBB E82ZMBRB安装说明手测

Lenze伦茨E82ZBC, E82ZBB E82ZMBRB安装说明手测

Lenze伦茨E82ZBC, E82ZBB E82ZMBRB安装说明手测
阅读更多...
VMware17 虚拟机下载以及 CentOS8 操作系统安装配置 一条龙全教程

VMware17 虚拟机下载以及 CentOS8 操作系统安装配置 一条龙全教程

目录 一、安装 vmware workstation 虚拟机 二、安装 CentOS8 操作系统 三、安装 FinalShell 远程连接 一、安装 vmware workstation 虚拟机 安装中...&#xff08;耐心等待&#xff09; 到此安装完成&#xff0c;点击启动运行 激活码如下&#xff1a; MC60H-DWHD5-H80U…
阅读更多...
【个人笔记】VCS工具与命令

【个人笔记】VCS工具与命令

Title&#xff1a;VCS工具学习 一 介绍 是什么&#xff1f; VCS (Verilog Compiler Simulator) 是synopsys的verilog 仿真软件&#xff0c;竞品有Mentor公司的Modelsim、Cadence公司的NC-Verilog、Verilog—XL. VCS能够 分析、编译 HDL的design code&#xff0c;同时内置了 仿…
阅读更多...
API 网关 OpenID Connect 实战：单点登录（SSO）如此简单

API 网关 OpenID Connect 实战：单点登录（SSO）如此简单

作者&#xff1a;戴靖泽&#xff0c;阿里云 API 网关研发&#xff0c;Higress 开源社区 Member 前言 随着企业的发展&#xff0c;所使用的系统数量逐渐增多&#xff0c;用户在使用不同系统时需要频繁登录&#xff0c;导致用户体验较差。单点登录&#xff08;Single Sign-On&a…
阅读更多...
Python和MATLAB(Java)及Arduino和Raspberry Pi(树莓派)点扩展函数导图

Python和MATLAB(Java)及Arduino和Raspberry Pi(树莓派)点扩展函数导图

&#x1f3af;要点 反卷积显微镜图像算法微珠图像获取显微镜分辨率基于像素、小形状、高斯混合等全视野建模基于探测器像素经验建模荧光成像算法模型傅里叶方法计算矢量点扩展函数模型天文空间成像重建二维高斯拟合天体图像伽马射线能量和视场中心偏移角标量矢量模型盲解卷积和…
阅读更多...
每日OJ_牛客_求和（递归深搜）

每日OJ_牛客_求和（递归深搜）

目录 牛客_求和&#xff08;递归深搜&#xff09; 解析代码 牛客_求和&#xff08;递归深搜&#xff09; 求和_好未来笔试题_牛客网 解析代码 递归中每次累加一个新的数&#xff0c;如果累加和大于等于目标&#xff0c;结束递归。此时如果累加和正好等于目标&#xff0c;则打…
阅读更多...
Quartz.Net_快速开始

Quartz.Net_快速开始

简述 Quartz中主要分为三部分&#xff0c;JobDetail、Trigger、Scheduler&#xff0c;分别是任务、触发器、调度器&#xff0c;三者的关系为&#xff1a;Trigger控制JobDetail的执行时间和频率&#xff0c;而Scheduler负责将具体的Trigger与具体的JobDetail绑定 1.安装Quartz…
阅读更多...
【无线通信发展史⑧】测量地球质量？重力加速度g的测量？如何推导单摆周期公式？地球半径R是怎么测量出来的？

【无线通信发展史⑧】测量地球质量？重力加速度g的测量？如何推导单摆周期公式？地球半径R是怎么测量出来的？

前言&#xff1a;用这几个问答形式来解读下我这个系列的来龙去脉。如果大家觉得本篇文章不水的话希望帮忙点赞收藏加关注&#xff0c;你们的鼓舞是我继续更新的动力。 我为什么会写这个系列呢&#xff1f; 首先肯定是因为我本身就是一名从业通信者&#xff0c;想着更加了解自…
阅读更多...
最新文章

Copyright @ 2022~2023