PostgreSQL 学习笔记:PostgreSQL 主从复制

PostgreSQL 笔记:PostgreSQL 主从复制

博客地址:TMDOG 的博客

在现代应用程序中,数据库的高可用性和扩展性是至关重要的。PostgreSQL 提供了主从复制功能,可以在多个数据库实例之间复制数据,以实现冗余和负载均衡。本文将介绍如何在 Docker 环境中构建PostgreSQL 主从复制环境。

1. 主从复制原理

PostgreSQL 的主从复制是通过将主服务器的 WAL(Write-Ahead Logging)日志复制到从服务器实现的。以下是主要原理:

  • 预写式日志(WAL): PostgreSQL 使用预写式日志记录事务更改,确保在任何时刻数据的完整性。在执行写入操作之前,系统会将更改先写入 WAL,这样即使发生崩溃,也可以通过 WAL 恢复数据。

  • 主服务器(Master): 负责处理所有写入操作。当数据被写入时,它首先记录到 WAL 中,然后再应用到数据文件。

  • 从服务器(Slave): 被配置为从主服务器接收和应用 WAL 日志,以保持数据一致性。它可以处于热备份状态,随时接收主服务器的更新。

  • 复制角色: 从服务器需要一个具备复制权限的角色(如 repl),通过此角色进行身份验证和连接。

  • 异步与同步复制: PostgreSQL 支持异步和同步复制。异步复制可以提高性能,但主服务器不会等待从服务器确认接收到数据,而同步复制则确保数据在主服务器和从服务器之间一致性。

2. 创建网络环境

首先,我们需要为 PostgreSQL 实例创建一个 Docker 网络,以便它们可以相互通信。

docker network create pg-network

请添加图片描述

3. 创建主服务器

接下来,启动一个 PostgreSQL 主服务器容器。我们将数据存储在宿主机上,以便在容器重启时数据不会丢失。

docker run --network=pg-network --name pgsmaster -p 5500:5432 -e POSTGRES_PASSWORD=123456 -v /var/lib/pgsmaster:/var/lib/postgresql/data -d postgres:16.4

请添加图片描述

4. 创建从属服务器

同样,我们创建一个 PostgreSQL 从属服务器容器。它将用于接收主服务器的数据复制。

docker run --network=pg-network --name pgsslave -p 5501:5432 -e POSTGRES_PASSWORD=123456 -d postgres:16.4

请添加图片描述
请添加图片描述

5. 获取 IP 地址

为了配置主从复制,我们需要获取主从服务器的 IP 地址:

docker inspect pgsmaster | grep IPAddress
docker inspect pgsslave | grep IPAddress

请添加图片描述

6. 配置主服务器

编辑主服务器的 postgresql.conf 文件,添加从属连接信息。使用上一步获取的 IP 地址。

cat >> /var/lib/pgsmaster/postgresql.conf <<-'EOF'
primary_conninfo = 'host=<主服务器IP> port=5432 user=repl password=repl' 
EOF

请添加图片描述

7. 更新 pg_hba.conf

为了允许从属服务器连接到主服务器,我们需要更新 pg_hba.conf 文件:

cat >> /var/lib/pgsmaster/pg_hba.conf <<-'EOF'
host	replication	repl		<从属服务器IP>/32		md5
EOF

请添加图片描述

8. 重启主服务器

重启主服务器以使配置更改生效:

docker restart pgsmaster

9. 进入主服务器容器控制台

现在我们进入主服务器的容器:

docker exec -it pgsmaster /bin/bash

10. 创建复制角色

在从属服务器上,我们需要创建一个角色来处理复制:

psql -U postgres
# 关闭同步提交,从属服务器不会等待主服务器确认数据已写入后再提交事务。
set synchronous_commit = off;
# 创建复制角色
create role repl login replication encrypted password 'repl';
# 查看角色
\du
\q
exit

请添加图片描述

我们看到repl角色,说明创建成功

11. 进入从属服务器

现在我们进入从属服务器的容器:

docker exec -it pgsslave /bin/bash

12. 数据备份

使用 pg_basebackup 从主服务器备份数据:
此次备份是将整个数据库文件从主服务器中备份下来,而不是通过流的形式备份

pg_basebackup -Fp --progress -D /home/opt/postgresql-16.0/data/ -R -h <主服务器IP> -p 5432 -U repl --password

输入密码:repl

请添加图片描述
请添加图片描述

exit退出

13. 复制数据到宿主机

将从属服务器的数据复制到宿主机,以便我们可以在新的从属服务器中使用:

docker cp pgsslave:/home/opt/postgresql-16.0/data/ /var/lib/pgsslave

请添加图片描述

我们查看/var/lib/pgsslave包含完整的数据库文件

请添加图片描述

14. 删除从属服务器

删除旧的从属服务器容器:

docker rm -f pgsslave

15. 使用复制的数据创建新的从属服务器

重新创建从属服务器,使用之前备份的数据:

docker run --network=pg-network --name pgsslave -p 5501:5432 -e POSTGRES_PASSWORD=123456 -v /var/lib/pgsslave:/var/lib/postgresql/data -d postgres:16.4

请添加图片描述

16. 查看从属服务器日志

最后,查看从属服务器的日志,以确保复制正常运行:

docker logs -f pgsslave

我们发现日志中包含“recovery”、“WAL”等字样

请添加图片描述

测试

我们连接两个数据库

请添加图片描述

在主服务器上创建表并插入数据
请添加图片描述
请添加图片描述

我们打开从属服务器发现数据同步了

请添加图片描述

我们想在从属服务器插入数据发现插入失败

请添加图片描述

查看主服务器的复制日志表发现复制记录

请添加图片描述

总结

通过以上步骤,我们成功地在 Docker 中创建了 PostgreSQL 主从复制环境。主从复制不仅提高了数据的可靠性,还可以帮助我们在负载较高时进行负载均衡、实现读写分离增强数据库的吞吐量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/907244.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

SQL,力扣题目1225,报告系统状态的连续日期【窗口函数】

一、力扣链接 LeetCode_1225 二、题目描述 表&#xff1a;Failed ----------------------- | Column Name | Type | ----------------------- | fail_date | date | ----------------------- 该表主键为 fail_date (具有唯一值的列)。 该表包含失败任务的天数.表…

晶台施密特触发器光耦KLH11LX,1MHz高传输速率

晶台推出KLH11LX系列由一个砷化镓红外发光二极管和一个高速集成电路检测器组成&#xff0c;该输出检测器包含了一个施密特触发器&#xff0c;利用其回滞特性&#xff0c;便于脉冲整形&#xff0c;提高抗噪性能。 功能图Functional Diagram 产品特点Product Features •高传输…

Mac在Typora配置PicGo图床,以github为例

Mac配置PicGo图床 0.准备阶段&#xff1a;下载PicGo https://picgo.github.io/PicGo-Doc/zh/guide/ 根据这个链接选择自己的安装方式 1.PicGo已损坏&#xff0c;无法打开 解决方法 打开iTerm,把sudo xattr -d com.apple.quarantine 输入命令行 然后把软件拖入命令行 sudo xa…

「Mac畅玩鸿蒙与硬件23」鸿蒙UI组件篇13 - 自定义组件的创建与使用

自定义组件可以帮助开发者实现复用性强、逻辑清晰的界面模块。通过自定义组件,鸿蒙应用能够提高代码的可维护性,并简化复杂布局的构建。本篇将介绍如何创建自定义组件,如何向组件传递数据,以及如何在不同页面间复用这些组件。 关键词 自定义组件复用组件属性传递组件通信组…

redis模板的应用:自定义redisTemplate序列化规则 (RedisTemplate和StringRedisTemplate)

文章目录 引言I 基础知识redis对key和value使用序列化方式RedisTemplate<Object, Object>自定义redisTemplate序列化规则RedisTemplate<String, String>II 存储自定义对象redisTemplate存储自定义对象StringRedisTemplate存储自定义对象引言 StringRedisTemplate只…

二叉苹果树

AcWing 1074. 二叉苹果树【有依赖背包DP】 - AcWing 问题描述 在一棵有权无向树中&#xff0c;从某个节点&#xff08;这里假设为节点 1&#xff09;出发&#xff0c;遍历树的子节点&#xff0c;每经过一条边会获得对应的权重值。在访问节点数的限制下&#xff08;即体积限制…

Linux基础命令(八) 之 alias ,history,stat,type,特殊符号及命令行快捷键

目录 一&#xff0c;命令别名 alias 常见用法 二&#xff0c;命令历史 history 参数及其作用 常见用法 三.显示文件或文件系统的详细信息 stat 参数及其作用 常见用法 四&#xff0c;显示命令的类型 type 参数及其作用 常见用法 五&#xff0c;特殊符号及命令行快捷…

省级-知识产权保护指数(2012-2022年)

省级知识产权保护指数&#xff08;以下简称“指数”&#xff09;正是衡量各省份在知识产权保护方面表现的一个综合指标&#xff0c;它涵盖了立法、执法、审查和监督等多个维度&#xff0c;全面反映了各省份在知识产权保护方面的综合实力。 2012年-2022年省级-知识产权保护指数…

GraphQL 与 Elasticsearch 相遇:使用 Hasura DDN 构建可扩展、支持 AI 的应用程序

作者&#xff1a;来自 Elastic Praveen Durairaju GraphQL 提供了一种高效且灵活的数据查询方式。本博客将解释 Hasura DDN 如何与 Elasticsearch 配合使用&#xff0c;以实现高性能和元数据驱动的数据访问。 此示例的代码和设置可在此 GitHub 存储库 - elasticsearch-subgraph…

filebeat+elasticsearch+kibana日志分析

1 默认配置 1.1 filebeat filebeat-7.17.yml,从网关中下载k8s的配置&#xff0c;指定es和kibana的配置 通过kibana查询可以查询到日志了&#xff0c;但此时还不知道具体怎么用。 1.2 kibana 在Discover中创建索引格式&#xff1a;filebeat-*&#xff0c;得到如下图&#xf…

Rust 力扣 - 2090. 半径为 k 的子数组平均值

文章目录 题目描述题解思路题解代码题目链接 题目描述 题解思路 半径为 k 的子数组平均值 等价于 子数组长度为2 * k 1的总和 除于 2 * k 1 我们遍历长度为2 * k 1的窗口&#xff0c;我们只需要记录窗口内的平均值即可 题解代码 impl Solution {pub fn get_averages(num…

uniapp的video视频属性打包app后层级过高

问题&#xff1a;在使用uniapp开发APP时&#xff0c;使用video标签显示视频发现H5可以正常展示&#xff0c;但是打包到APP后&#xff0c;它的层级过高&#xff0c;把底部导航都盖住了。 官网说明&#xff1a;uni-app官网 官网给了cover-view组件或plus.nativeObj.view、subNVue…

浅谈UI自动化

⭐️前言⭐️ 本篇文章围绕UI自动化来展开&#xff0c;主要内容包括什么是UI自动化&#xff0c;常用的UI自动化框架&#xff0c;UI自动化原理等。 &#x1f349;欢迎点赞 &#x1f44d; 收藏 ⭐留言评论 &#x1f349;博主将持续更新学习记录收获&#xff0c;友友们有任何问题…

Vue3+Data-V实现可视化大屏页面布局

目录 一、前言 二、环境准备 1.Vue3安装npm create vuelatest 2.Data-V配置 项目Data-v安装 main.js中注册Data-v到全局 ​编辑可使用按需引入 3.测试 三、导航栏路由跳转配置 1.子组件mainNav组件准备 2.父组件准备导航栏参数传递 3.子组件接收父组件参数 4.导航…

Python 使用 LSTM 进行情感分析:处理文本序列数据的指南

使用 LSTM 进行情感分析&#xff1a;处理文本序列数据的指南 长短期记忆网络&#xff08;LSTM&#xff09;是一种适合处理序列数据的深度学习模型&#xff0c;广泛应用于情感分析、语音识别、文本生成等领域。它通过在训练过程中“记住”过去的数据特征来理解和预测序列数据的…

树莓派5实时时钟(RTC)

树莓派5板载一个实时时钟模块。它可以通过 USB-C 电源插口右侧板上的 J5(BAT) 插口进行电池供电。如果没有互联网连接来通过 NTP 获取时间&#xff0c;RTC 可能会很有用。 可以设置唤醒警报&#xff0c;将树莓派5切换到非常低功耗的状态&#xff08;大约3mA&#xff09;。当到达…

保姆级教程!!教你通过【Pycharm远程】连接服务器运行项目代码

小罗碎碎念 这篇文章主要解决一个问题——我有服务器&#xff0c;但是不知道怎么拿来写代码&#xff0c;跑深度学习项目。确实&#xff0c;玩深度学习的成本比较高&#xff0c;无论是前期的学习成本&#xff0c;还是你需要具备的硬件成本&#xff0c;都是拦路虎。小罗没有办法…

Chrome与夸克的安全性对比

在当今数字化时代&#xff0c;浏览器的安全性对于用户来说至关重要。Chrome和夸克作为两款流行的浏览器&#xff0c;各有其特点和优势。本文将对这两款浏览器的安全性进行详细对比&#xff0c;帮助用户更好地了解它们之间的差异。&#xff08;本文由https://www.chromegw.com/的…

ZFC in LEAN 之 前集(Pre-set)

前集&#xff08;Pre-set&#xff09;的概念是相对于集合&#xff08;Set&#xff09;&#xff0c;由数学家 Bishop 提出的。Bishop 认为定义一个集合需要三个步骤&#xff1a; 1. 定义该集合的元素是如何构建的&#xff08;Construction&#xff09;。 2. 定义集合中的两元素的…

libaom 源码分析:AV1帧内预测 CfL 模式

CfL预测模式原理 从亮度到色度CfL 是一种色度帧内预测模式&#xff0c;通过建立共位重建亮度采样的线性函数来模拟色度采样&#xff1b;对于不同的色度采样格式&#xff08;例如4:2:0和4:2:2&#xff09;&#xff0c;可能需要对重建的亮度像素进行子采样&#xff0c;以匹配色度…