go-redis源码解析：连接池原理

1. 执行命令的入口方法

redis也是通过hook执行命令，initHooks时，会将redis的hook放在第一个

img

通过hook调用到process方法，process方法内部再调用_process

img

2. 线程池初始化

redis在新建单客户端、sentinel客户端、cluster客户端等，都会newConnPool初始化线程池

2.1.1. NewClient方式初始化连接池

// NewClient returns a client to the Redis Server specified by Options.
func NewClient(opt *Options) *Client {
	opt.init()

	c := Client{
		baseClient: &baseClient{
			opt: opt,
		},
	}
	c.init()
	// 初始化线程池
	c.connPool = newConnPool(opt, c.dialHook)

	return &c
}

2.1.2. NewFailoverClient方式初始化连接池

// NewFailoverClient returns a Redis client that uses Redis Sentinel
// for automatic failover. It's safe for concurrent use by multiple
// goroutines.
// zhmark 2024/6/13 NewFailoverClient
func NewFailoverClient(failoverOpt *FailoverOptions) *Client {
	if failoverOpt.RouteByLatency {
		panic("to route commands by latency, use NewFailoverClusterClient")
	}
	if failoverOpt.RouteRandomly {
		panic("to route commands randomly, use NewFailoverClusterClient")
	}

	sentinelAddrs := make([]string, len(failoverOpt.SentinelAddrs))
	copy(sentinelAddrs, failoverOpt.SentinelAddrs)

	// todo:2024/6/26 有问题，每次都是换成1、3、2
	// 将 sentinelAddrs 切片中的元素顺序随机打乱，实现随机化效果
	rand.Shuffle(len(sentinelAddrs), func(i, j int) {
		//交换 sentinelAddrs 中第 i 个和第 j 个元素
		sentinelAddrs[i], sentinelAddrs[j] = sentinelAddrs[j], sentinelAddrs[i]
	})

	failover := &sentinelFailover{
		opt:           failoverOpt,
		sentinelAddrs: sentinelAddrs,
	}

	opt := failoverOpt.clientOptions()
	// 初始化赋值连接建立函数
	opt.Dialer = masterReplicaDialer(failover)
	opt.init()

	var connPool *pool.ConnPool

	rdb := &Client{
		baseClient: &baseClient{
			opt: opt,
		},
	}
	rdb.init()
// 初始化线程池
	connPool = newConnPool(opt, rdb.dialHook)
	rdb.connPool = connPool
	rdb.onClose = failover.Close

	failover.mu.Lock()
	// 关闭老的有问题的地址连接
	//如：发现新读取的主节点地址和本地保存的不一样，将之前和老的主节点连接断开
	// addr是新的master地址
	failover.onFailover = func(ctx context.Context, addr string) {
		_ = connPool.Filter(func(cn *pool.Conn) bool {
			// 如果连接的远程地址与 addr 不同，则返回 true，表示要关闭此连接；否则返回 false，表示保留该连接
			return cn.RemoteAddr().String() != addr
		})
	}
	failover.mu.Unlock()

	return rdb
}

2.1. NewClusterClient方式初始化线程池

cluster模式和上面的NewClient、NewFailoverClient不一样。cluster模式new的时候不会初始化连接池，而是等执行命令时，获取所有节点，每个节点新建一个redisClient，每个client单独一个连接池

2.1.1. 初始化NewClusterClient时不会新建连接池

// NewClusterClient returns a Redis Cluster client as described in
// http://redis.io/topics/cluster-spec.
func NewClusterClient(opt *ClusterOptions) *ClusterClient {
	// 初始化opt，其中会初始化NewClient方法
  opt.init()

	c := &ClusterClient{
		opt:   opt,
		nodes: newClusterNodes(opt),
	}

	// 获取所有主从节点信息，并保存在本地
	c.state = newClusterStateHolder(c.loadState)
	// 保存命令详情
	c.cmdsInfoCache = newCmdsInfoCache(c.cmdsInfo)
	c.cmdable = c.Process

	c.initHooks(hooks{
		dial:       nil,
		process:    c._process,
		pipeline:   c.processPipeline,
		txPipeline: c.processTxPipeline,
	})

	return c
}

2.1.2. 执行命令时，通过cmdNode执行到NewClient，初始化线程池

img

通过clOpt的NewClient方法，初始化client，进而初始化线程池

img

2.1.3. 然而clOpt的NewClient方法什么时候初始化赋值的呢

在NewClusterClient方法的opt.init()中

img

img

3. 如何新建连接

总览图

img

3.1.1. 第一次执行命令时，go-redis会先通过cmdNode方法，获取所有的节点信息

img

3.1.2. 底层调用到ClusterSlots方法，触发redis.go中_process方法，内部调用_withConn方法，通过getConn方法获取可用连接

img

3.1.3. getConn方法内部发现无可用连接，则会调用newConn

3.1.4. newConn内部，调用连接池的dialConn方法触发调用

img

3.1.5. dialConn调用配置项的Dialer方法

img

3.1.6. p.cfg.Dialer在newConnPool时候初始化的，通过Dialer方法，触发dialer

img

3.1.7. 而dialer是newClient时传入的dialhook，至此直接触发了dialhook

img

3.1.8. sentinel模式也是在NewFailoverClient时传入的dialhook

img

3.1.9. redis自己的dialHook内部，执行的是opt的Dialer方法

img

3.1.10. 此Dialer方法是在NewClient中opt.init()初始化方法中赋值的，如果没有自定义，就用默认的建连方法

img

3.1.11. 默认的建连方法很简单，调用go底层的net建立连接

img

3.1.12. sentinel模式不一样，NewFailoverClient方法有自定义建连方法

img

3.1.13. 里面实现了读写分离

img

4. 闲置连接如何关闭

看是否有配置MinIdleConns和MaxIdleConns。如果有配置了MinIdleConns，那么在NewConnPool、popIdle、removeConn时，都会调用checkMinIdleConns补充创建最低闲置连接数

// Minimum number of idle connections which is useful when establishing
// new connection is slow.
// Default is 0. the idle connections are not closed by default.
MinIdleConns int
// Maximum number of idle connections.
// Default is 0. the idle connections are not closed by default.
MaxIdleConns int

img

每次执行完方法，会释放连接

img

img

5. 如何控制闲置连接数大小

6. 如何控制总连接数

poolSize：控制最大并发量

turn可能为0，闲置连接数为最大poolSize

img

img

img

7. 如何保持连接池内的连接健康

每次Get连接时，会检查连接是否健康

func (p *ConnPool) Get(ctx context.Context, isReadCmd bool) (*Conn, error) {
	if p.closed() {
		return nil, ErrClosed
	}

	// 排队
	if err := p.waitTurn(ctx); err != nil {
		return nil, err
	}

	for {
		p.connsMu.Lock()
		// 获取一个可用的连接
		cn, err := p.popIdle(isReadCmd)
		p.connsMu.Unlock()

		if err != nil {
			p.freeTurn()
			return nil, err
		}

		if cn == nil {
			break
		}

		// 读请求走replica，只是多一层保护
		if p.cfg.ReadMode == _const.READ_MODE_REPLICA {
			if isReadCmd && cn.remoteType != REMOTE_TYPE_REPLICA {
				continue
			}
			// 写请求不走replica
			if !isReadCmd && cn.remoteType == REMOTE_TYPE_REPLICA {
				continue
			}
		}

		if !p.isHealthyConn(cn) {
			_ = p.CloseConn(cn)
			continue
		}

		atomic.AddUint32(&p.stats.Hits, 1)
		return cn, nil
	}

	atomic.AddUint32(&p.stats.Misses, 1)

	// zhmark 2024/6/18 如果连接池里没有可用的连接，那么新建连接
	newcn, err := p.newConn(ctx, true, isReadCmd)
	if err != nil {
		p.freeTurn()
		return nil, err
	}

	return newcn, nil
}

img

7.1. isHealthyConn内方法解析

// zhmark 2024/7/8 连接关键检查，维护连接池连接健康
func (p *ConnPool) isHealthyConn(cn *Conn) bool {
	now := time.Now()
	// ConnMaxLifetime 默认为0
	if p.cfg.ConnMaxLifetime > 0 && now.Sub(cn.createdAt) >= p.cfg.ConnMaxLifetime {
		return false
	}
	// ConnMaxIdleTime Default is 30 minutes. -1 disables idle timeout check
	if p.cfg.ConnMaxIdleTime > 0 && now.Sub(cn.UsedAt()) >= p.cfg.ConnMaxIdleTime {
		return false
	}

	if connCheck(cn.netConn) != nil {
		return false
	}

	cn.SetUsedAt(now)
	return true
}

7.1.1. 连接使用时长检验

    1. ConnMaxLifetime默认为0，如果配置了ConnMaxLifetime，那么如果当前时间离连接创建时间超过ConnMaxLifetime，则会判定连接为不健康，进而关闭连接

7.1.2. 连接空闲时长检验

    1. ConnMaxIdleTime，默认为30分钟，如果连接超过ConnMaxIdleTime时间未使用，则会判定连接为不健康

7.1.3. 检查底层网络连接状态

func connCheck(conn net.Conn) error {
	// Reset previous timeout.
	_ = conn.SetDeadline(time.Time{})

	sysConn, ok := conn.(syscall.Conn)
	if !ok {
		return nil
	}
	rawConn, err := sysConn.SyscallConn()
	if err != nil {
		return err
	}

	var sysErr error

	if err := rawConn.Read(func(fd uintptr) bool {
		var buf [1]byte
		n, err := syscall.Read(int(fd), buf[:])
		switch {
		case n == 0 && err == nil:
			sysErr = io.EOF
		case n > 0:
			sysErr = errUnexpectedRead
		case err == syscall.EAGAIN || err == syscall.EWOULDBLOCK:
			sysErr = nil
		default:
			sysErr = err
		}
		return true
	}); err != nil {
		return err
	}

	return sysErr
}

8. 如何实时监控连接池状态

PoolStats

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/787438.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Apache Flink核心特性应用场景

Apache Flink核心特性应用场景

Flink的定义 Apache Flink是一个分布式处理引擎，用于处理 无边界数据流， 有边界数据流上金秀贤有状态的计算。Flink能在所有常见的集群环境中运行，并能以内存速度和任意规模进行计算如下Flink官网的一张图 Flink 与Spark的区别 Flink 中处…
阅读更多...
《大语言模型的临床和外科应用：系统综述》

《大语言模型的临床和外科应用：系统综述》

这篇题为《大语言模型的临床和外科应用：系统综述》的文章对大语言模型（LLM）目前在临床和外科环境中的应用情况进行了全面评估。 大语言模型（LLM）是一种先进的人工智能系统，可以理解和生成类似人类的文本。…
阅读更多...
理解 LibTorch 的工作流程

理解 LibTorch 的工作流程

深入理解 LibTorch 的工作流程 摘要 本文详细介绍了 LibTorch 的工作流程，包括模型定义、数据准备、训练、评估和推理。通过具体的伪代码示例，帮助读者深入理解 LibTorch 的基本原理和使用方法。 关键字 LibTorch, 深度学习, 动态计算图, 自动微分, …
阅读更多...
Sharding-JDBC分库分表之SpringBoot主从配置

Sharding-JDBC分库分表之SpringBoot主从配置

Sharding-JDBC系列 1、Sharding-JDBC分库分表的基本使用 2、Sharding-JDBC分库分表之SpringBoot分片策略 3、Sharding-JDBC分库分表之SpringBoot主从配置 前言 在开发中，如果对数据库的读和写都在一个数据服务器中操作，面对日益增加的访问量&#x…
阅读更多...
HI3559AV100四路IMX334非融合拼接8K视频记录

HI3559AV100四路IMX334非融合拼接8K视频记录

下班无事，写篇博客记录海思hi3559av100四路4K视频采集拼接输出8K视频Demo 一、准备工作： 软件：Win11系统、VMware虚拟机Ubuntu14、Hitool、Xshell等 硬件：HI3559AV100开发板4路imx334摄像头、串口线、电源等 附硬件图&#xff1…
阅读更多...
阿里发布大模型发布图结构长文本处理智能体，超越GPT-4-128k

阿里发布大模型发布图结构长文本处理智能体，超越GPT-4-128k

随着大语言模型的发展，处理长文本的能力成为了一个重要挑战。虽然有许多方法试图解决这个问题，但都存在不同程度的局限性。最近，阿里巴巴的研究团队提出了一个名为GraphReader的新方法，通过将长文本组织成图结构，并利用…
阅读更多...
《RWKV》论文笔记

《RWKV》论文笔记

原文出处 [2305.13048] RWKV: Reinventing RNNs for the Transformer Era (arxiv.org) 原文笔记 What RWKV(RawKuv):Reinventing RNNs for the Transformer Era 本文贡献如下： 提出了 RWKV 网络架构，结合了RNNS 和Transformer 的优点，同…
阅读更多...
【GC 垃圾回收算法和回收器】

【GC 垃圾回收算法和回收器】

作者：ofLJli 链接：https://juejin.cn/post/7003213289425633287?searchId20240709085629749958B21D886D4E67D4 来源：稀土掘金 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 概述 在JVM中主要的结构为&…
阅读更多...
工作助手VB开发笔记(1)

工作助手VB开发笔记(1)

1.思路 1.1 样式 样式为常驻前台的一个小窗口，小窗口上有三到四个按钮，为一级功能，是当前工作内容的常用功能窗口，有十个二级窗口，为选中窗口时的扩展选项，有若干后台功能，可选中至前台 可最…
阅读更多...
C++入门基础（1）

C++入门基础（1）

因为6月中旬学校事情多，许久未更新，让我们继续学习吧！ 目录 前言： 一、命名空间： 1、定义： 2、使用： 3、访问命名空间域: 二、C输入、输出函数： 1、输入函数： 2、输出…
阅读更多...
【正点原子i.MX93开发板试用连载体验】项目计划和开箱体验

【正点原子i.MX93开发板试用连载体验】项目计划和开箱体验

本文最早发表于电子发烧友：【　　　】【正点原子i.MX93开发板试用连载体验】基于深度学习的语音本地控制 - 正点原子学习小组 - 电子技术论坛 - 广受欢迎的专业电子论坛! (elecfans.com)https://bbs.elecfans.com/jishu_2438354_1_1.html 有一段时间没有参加电子发…
阅读更多...
入门PHP就来我这（高级）19 ~ 捕获sql错误

入门PHP就来我这（高级）19 ~ 捕获sql错误

有胆量你就来跟着路老师卷起来！ -- 纯干货，技术知识分享 路老师给大家分享PHP语言的知识了，旨在想让大家入门PHP，并深入了解PHP语言。 接着上篇我们来看下sql错误的捕获模式。 1 PDO中捕获SQL语句中的错误 在PDO中有3种方法可以捕…
阅读更多...
【前端从入门到精通：第十二课： JS运算符及分支结构】

【前端从入门到精通：第十二课： JS运算符及分支结构】

JavaScript运算符 算数运算符 关于自增自减运算 自增或者自减运算就是在本身的基础上进行1或者-1的操作 自增或者自减运算符可以在变量前也可以在变量后，但是意义不同 自增自减运算符如果在变量前，是先进行自增或者自减运算，在将变量给别人用…
阅读更多...
Python | Leetcode Python题解之第221题最大正方形

Python | Leetcode Python题解之第221题最大正方形

题目： 题解： class Solution:def maximalSquare(self, matrix: List[List[str]]) -> int:if len(matrix) 0 or len(matrix[0]) 0:return 0maxSide 0rows, columns len(matrix), len(matrix[0])dp [[0] * columns for _ in range(rows)]for i in…
阅读更多...
HumbleBundle7月虚幻捆绑包30件军事题材美术模型沙漠自然环境大逃杀模块化建筑可定制武器包二战现代坦克飞机道具丧尸士兵角色模型20240705

HumbleBundle7月虚幻捆绑包30件军事题材美术模型沙漠自然环境大逃杀模块化建筑可定制武器包二战现代坦克飞机道具丧尸士兵角色模型20240705

HumbleBundle7月虚幻捆绑包30件军事题材美术模型沙漠自然环境大逃杀模块化建筑可定制武器包二战现代坦克飞机道具丧尸士兵角色模型202407051607 这次HumbleBundle捆绑包是UE虚幻军事题材的，内容非常多。 有军事基地、赛博朋克街区、灌木丛景观环境等 HB捆绑包虚幻…
阅读更多...
高，实在是高

高，实在是高

go，去 //本义音通义通汉字“高”，指太阳升起、上升，即高上去 god | God，神，上帝 //本义音通义通“高的”，指太阳高高在上的，至高无上的 glad，高兴的 //本义音通义通“高了的”&#…
阅读更多...
关于10G光模块中SR, LR, LRM, ER 和 ZR的区别?

关于10G光模块中SR, LR, LRM, ER 和 ZR的区别?

在10Gbps（10千兆比特每秒）光模块中，SR、LR、LRM、ER 和 ZR 是用来描述不同类型的模块及其适用的传输距离和光纤类型。下面是这些缩写的详细解释： 1.SR (Short Range) 2.LR (Long Range) 3.LRM (Long Reach Multimode) 4.ER (E…
阅读更多...
注解复习（java)

注解复习（java)

文章目录 注解内置注解**Deprecated**OverrideSuppressWarnings【不建议使用】Funcationallnterface 自定义注解元注解RetentionTargetDocumentedInherited 和 Repeatable 反射注解 前言：笔记基于动力节点 注解 注解可以标注在 类上，属性上&#xff0c…
阅读更多...
鸿蒙语言基础类库：【@ohos.util.Deque (线性容器Deque)】

鸿蒙语言基础类库：【@ohos.util.Deque (线性容器Deque)】

线性容器Deque 说明： 本模块首批接口从API version 8开始支持。后续版本的新增接口，采用上角标单独标记接口的起始版本。 Deque（double ended queue）根据循环队列的数据结构实现，符合先进先出以及先进后出的特点&…
阅读更多...
【Stable Diffusion】（基础篇三）—— 关键词和参数设置

【Stable Diffusion】（基础篇三）—— 关键词和参数设置

提示词和文生图参数设置 本系列笔记主要参考B站nenly同学的视频教程，传送门：B站第一套系统的AI绘画课！零基础学会Stable Diffusion，这绝对是你看过的最容易上手的AI绘画教程 | SD WebUI 保姆级攻略_哔哩哔哩_bilibili 本文主要讲…
阅读更多...
最新文章

Copyright @ 2022~2023