数据库数据迁移常见方式

数据库数据迁移常见方式

  • 数据库数据迁移常见方式
    • 1、通过sql
    • 2、通过数据迁移工具
    • 3、云服务进行数据迁移
      • 什么是DRS服务
      • 如何使用DRS服务
      • DRS云服务可以干什么

数据库数据迁移常见方式

1、通过sql

批量导入sql

insert into tableName select * 

2、通过数据迁移工具

在数据库里面可以看到有navicat里面有数据转移工具可以使用。
在这里插入图片描述

3、云服务进行数据迁移

随着云服务越来越普及,好多工作可以在云服务上进行,十分的方便,我最近进行数据规划,容灾,迁移都在使用一款云服务,华为云的DRS 服务----数据转移。

什么是DRS服务

DRS服务是数据迁移服务,可以把不同库的数据进行转移,譬如把A库的表迁移到B库里面。也可以把A库进行迁移,整体的迁移到另一个库里面。

如何使用DRS服务

官网链接 :https://www.huaweicloud.com/product/drs.html

1、选择一个站点

这个可以选一个你们目标数据库所在的站点。
在这里插入图片描述
2、创建DRS任务。
选择需要转移的库就可以进行数据转移了。
重点是:
1,全量加增量转移数据
2,全量转移

选择完了之后只需要选择对应的库就可以了。
在这里插入图片描述

DRS云服务可以干什么

1、进行数据库转移
当业务上需要多个库和一的时候,使用DRS任务把不同的数据库转移到同一个库里面,然后把微服务部署到新的数据库里面,微服务部署完成后,数据库数据完整,可以达到不间断部署。

2、进行表转移
当公司大的时候,譬如我现在所在的公司,几千个部门合作,如果接入外部域数据,那么需要的就是这个工具,实时的同步外部数据,延迟几乎没有。

3、进行数据库表的监测
假设数据库里面有很多表,表里面数据很多,那么会用到redis缓存来提升查询速度,一般是业务来查询,第一次查到数据,返回并且存到redis里面,当数据发生改变时,去删除或者更新数据。

那么如果监控这个数据发送改变的情况,传统意义上mysql数据变更捕获有很多方式,比如使用开源工具canal,debezium,maxwell等等,连接mysql数据源,实现获取binlog日志。

我们还可以使用DRS任务,还需要kafka

首先建立一个kafka,创建一个topic用来接收数据,然后创建DRS出云任务,对接mysql数据库,DRS出云任务选择全量加增量方式,选择要监控的表,当有数据变化的时候,使用DRS任务就可以把变化的数据发送到kafka里面。这样kafka里面有记录的事件。

然后我们代码订阅kafka的事件,就可以做到删除或者更新缓存的操作,相对比以前,只需要加上两个云服务,可以监控很多张表,省去了很多代码,并且更加解耦,稳定。(DRS本质上也是监控的MySQL的binlog日志的)

4、用于容灾搭建
一般来说我们数据库搭建为一主一从一只读的集群。主库管读写,从库,只读库管查询,作为容灾,会定期的把主库的数据同步到容灾环境去,那么如何可以实时的同步过去呢,当主库宕机,容灾库可以直接切换过去就是最好的容灾方案。
在这里插入图片描述

巧了DRS就有这个容灾方案,选择里面的容灾,就可以建立容灾同步,而且如果容灾库一开始么有数据,第一次建立容灾会把所有数据全部同步过去,如果数据库宕机就使用这个就可以切换过去,但是要提前做容灾处理。
在这里插入图片描述

这个云服务你就用去吧,特别好用,一用一个不吱声

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/126397.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

19.9 Boost Asio 同步字典传输

这里所代指的字典是Python中的样子,本节内容我们将通过使用Boost中自带的Tokenizer分词器实现对特定字符串的切割功能,使用Boost Tokenizer,可以通过构建一个分隔符或正则表达式的实例来初始化tokenizer。然后,可以使用该实例对输…

网络工程师回顾学习(第一部分)

根据书本目录,写下需要记忆的地方: 参考之前的笔记: 网络工程师回答问题_one day321的博客-CSDN博客 重构第一部分需要记忆的: 第一章:计算机网络概论 计算机网络的定义和分类:计算机网络是指将地理位…

Azure - 机器学习:自动化机器学习中计算机视觉任务的超参数

Azure Machine Learning借助对计算机视觉任务的支持,可以控制模型算法和扫描超参数。 这些模型算法和超参数将作为参数空间传入以进行扫描。 关注TechLead,分享AI全维度知识。作者拥有10年互联网服务架构、AI产品研发经验、团队管理经验,同济…

MYSQL函数,一篇文章看完!

做程序员的谁会离得开数据库呢?今天就来分享一下我整理的MySQL的常用函数,基本上囊括了平时要用的函数,它们已经陪我走过了不少年头了,风里来雨里去,缝缝补补又几年,希望能帮到你们! 如果数据库…

UltraEdit2024免费版文本编辑器

我们必须承认软件员使用的编辑器或代码编辑器是一款强大 IDE 的重要组成部分,它是任何 IDE 的核心基础。用户量向我们证明了UEStudio 基于著名的 UltraEdit 进行构建,同样,软件的主干非常成熟和稳定,并且已经被证实成为文本和软件…

Python 标准库 subprocess 模块详解

1. Subprocess模块介绍 1.1 基本功能 subprocess 模块,允许生成新的进程执行命令行指令,python程序,以及其它语言编写的应用程序, 如 java, c,rust 应用等。subprocess可连接多个进程的输入、输出、错误管道,并且获取它们的返回…

龙芯loongarch64服务器编译安装scipy

前言 根据我之前的文章介绍,龙芯loongarch64服务器中的很多python依赖包安装有问题,发现其中安装的"scikit-learn"就无法正常使用,所有这里在 pip3 install scikit-learn -U -i https://pypi.tuna.tsinghua.edu.cn/simple 的时候发…

酷开系统,让这个秋天更有温度

在这个秋意渐浓的季节,你是不是也在寻找一种方式,让这个秋天变得更加温暖和充满活力?随着科技的不断发展,智能电视已经成为家庭娱乐的重要载体,酷开系统,作为智能电视行业的佼佼者,不仅提供了海…

Linux常用命令——cal命令

在线Linux命令查询工具 cal 显示当前日历或指定日期的日历 补充说明 cal命令用于显示当前日历,或者指定日期的日历。 语法 cal(选项)(参数)选项 -l:显示单月输出; -3:显示临近三个月的日历; -s:将星…

client-go controller-runtime kubebuilder

背景 这半年一直做k8s相关的工作,一直接触client-go controller-runtime kubebuilder,但是很少有文章将这三个的区别说明白,直接用框架是简单,但是出了问题就是黑盒,这不符合我的理念,所以这篇文章从头说起…

【Java 进阶篇】Java Filter 过滤器链详解

过滤器(Filter)是 Java Web 应用中重要的组件之一,它用于在请求到达 Servlet 之前或响应返回客户端之前对请求和响应进行处理。在实际开发中,我们可能会使用多个过滤器来完成不同的任务,这就引出了过滤器链的概念。本文…

Qt 自定义分页控件

目录 前言1、功能描述2、代码实现2.1 ui文件2.1 头文件2.2 源码文件2.3 设计思路 4、示例5、总结 前言 在应用程序开发时经常会遇到数据分页的需求,每一页展示特定数量的数据,通过点击按钮翻页或者输入页码跳转到指定页。 本文介绍一个自定义分页控件&a…

【Spring】静态代理

例子: 租房子 角色: 我 (I ) 中介( Proxy ) 房东( host ) Rent 接口 package org.example;public interface Rent {void rent(); }房东 package org.example;public class Host implements Rent{Overridepublic void rent() …

立体相机标定

相机成像过程中涉及的4个坐标系: 1、世界坐标系:由用户定义的三维世界坐标系,描述物体和相机在真实世界中的位置,原点可以任意选择。 2、相机坐标系:以相机的光心为坐标原点,X轴和Y轴平行于图像坐标系的X轴…

uniapp实现在线PDF文件预览

下载pdf文件放在static文件夹下 bug&#xff1a;hbuildX创建的项目pdf文件夹可以放在根目录下面&#xff0c;但是cli创建的项目无法预览&#xff0c;只能放在static下面 按钮跳转预览页面 <button click"toPdf">pdf</button>methods: {toPdf() {uni.…

接口测试|HttpRunner模拟发送GET请求自动生成测试报告

HttpRunner模拟发送GET请求&自动生成测试报告 前面说到&#xff0c;HttpRunner必须使用yaml或者json文件来进行使用&#xff0c;测试场景文件推荐使用yaml文件进行编辑。 httprunner 项目下yaml文件的格式 在python项目下新建一个 testcases 文件夹&#xff0c;然后再新…

K8s----资源管理

目录 一、Secret 1、创建 Secret 1.1 用kubectl create secret命令创建Secret 1.2 内容用 base64 编码&#xff0c;创建Secret 2、使用方式 2.1 将 Secret 挂载到 Volume 中&#xff0c;以 Volume 的形式挂载到 Pod 的某个目录下 2.2 将 Secret 导出到环境变量中 二、Co…

一文概览NLP句法分析:从理论到PyTorch实战解读

本文全面探讨了自然语言处理&#xff08;NLP&#xff09;中句法分析的理论与实践。从句法和语法的定义&#xff0c;到各类句法理论和方法&#xff0c;文章细致入微地解析了句法分析的多个维度。最后&#xff0c;通过PyTorch的实战演示&#xff0c;我们展示了如何将这些理论应用…

【C++】STL容器适配器——queue类的使用指南(含代码使用)(18)

前言 大家好吖&#xff0c;欢迎来到 YY 滴C系列 &#xff0c;热烈欢迎&#xff01; 本章主要内容面向接触过C的老铁 主要内容含&#xff1a; 欢迎订阅 YY滴C专栏&#xff01;更多干货持续更新&#xff01;以下是传送门&#xff01; 目录 一、queue 类——基本介绍二、queue 类…

Milvus Cloud——Agent 框架工作方式

Agent 框架工作方式 我们以 AutoGPT 为例&#xff0c;看看一个 Agent 框架具体是如何工作的&#xff1a; AutoGPT[2] 使用 GPT-4 来生成任务、确定优先级并执行任务&#xff0c;同时使用插件进行互联网浏览和其他访问。AutoGPT 使用外部记忆来跟踪它正在做什么并提供上下文&am…