docker consul 容器的自动发现与注册

consul相关知识

什么是注册与发现

服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的,不保障高可用性,也不考虑服务的压力承载,服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构,起初的解决手段是在服务前端负载均衡,这样前端必须要知道所有后端服务的网络位置,并配置在配置文件中。这里就会有几个问题:
●如果需要调用后端服务A-N,就需要配置N个服务的网络位置,配置很麻烦
●后端服务的网络位置变化,都需要改变每个调用者的配置

 

既然有这些问题,那么服务注册与发现就是解决这些问题的。后端服务A-N可以把当前自己的网络位置注册到服务发现模块,服务发现就以K-V的方式记录下来,K一般是服务名,V就是IP:PORT。服务发现模块定时的进行健康检查,轮询查看这些后端服务能不能访问的了。前端在调用后端服务A-N的时候,就跑去服务发现模块问下它们的网络位置,然后再调用它们的服务。这样的方式就可以解决上面的问题了,前端完全不需要记录这些后端服务的网络位置,前端和后端完全解耦!

什么是consul

consul是google开源的一个使用go语言开发的服务管理软件。支持多数据中心、分布式高可用的、服务发现和配置共享。采用Raft算法,用来保证服务的高可用。内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案,不再需要依赖其他工具(比如ZooKeeper等)。服务部署简单,只有一个可运行的二进制的包。每个节点都需要运行agent,他有两种运行模式server 和 client。 每个数据中心官方建议需要3或5个server节点以保证数据安全,同时保证server-leader的选举能够正确的进行。 
 

服务注册:当一个服务启动时,会把自己的元数据(IP端口 服务名称 健康状态)注册到服务注册表中。

这个注册表的服务(consul,zookeeper)。也可以在云平台部署。

服务发现:其他服务需要和这个服务通信时,只需要向注册查询服务位置信息(IP+端口),这样的话可以直接在服务注册表中,直接获取我要的信息,不需要到静态配置查看。

服务注册于发现的优点

  • 1.动态性,可以在运行时动态添加和移除服务,不需要额外的人工操作和配置。
  • 2.弹性,一旦某个服务不可用,这个服务注册表可以及时的更新,避免其他服务避免请求失败。
  • 3.可扩展:适应不断变化的服务数量。
  • 4.服务费调用时,透明性,前端和后端实现解耦。

服务注册和发现机制和其他工具配合使用的,负载均衡,健康检测,配置管理(一键同步)。

以上是微服务架构中非常重要的组件。

consul的主要特点

1.服务发现与自动注册,位置信息(ip+端口+服务名称)

2.健康检查,服务注册到consul,一并加入系统的还有健康状态,定期发送一个心跳检查,如果服务不存在,consul会自动把他移除。

3.分布式锁:consul提供了一个分布式锁的功能,协调多个节点之间的操作,防止竞争条件和数据冲突。

      1.每一个服务的发现和注册都是一个会话 session,

  •        微服务1 在注册到consul的时候,consul会和这个服务的会话创建一个锁,锁用来标识具体的服务器。会话和锁之间关联
  •       1获取锁:微服务2,建立会话,获取锁,如果申请的锁没有被使用,客户端成功获取,如果客户端已经存在,表示已有其他服务在占用,会给你分配一个新的锁(KV 存储)
  •        释放锁:任务完成或者断开了连接,会把锁释放,删除会话和锁之间的关系。删除与锁关联的键

4.KV存储:key-value 分布式的键值对存储系统,存储配置信息,锁,特性。应用程序可以使用consul的键值对信息来动态的获取配置信息

5.多数据中心支持,consul可以在多个地域进行部署,可以数据中心之间的发现和注册功能。

6.DNS和http的API:consul可以支持DNS接口,通过域名解析定位服务的位置。http api:通过API应用接口,可以调用consul的信息。服务信息,健康检测等等。

7.事件通知,如有关键信息,可以随时获取通知

consul部署和服务发现

服务器组件IP
docker1consul  consul-template20.0.0.20
docker2registrator    20.0.0.30
docker3consul20.0.0.40

docker1

systemctl stop firewalld.service
setenforce 0

1. 建立 Consul 服务
mkdir /opt/consul
cp consul_0.9.2_linux_amd64.zip /opt/consul
cd /opt/consul
unzip consul_0.9.2_linux_amd64.zip
mv consul /usr/local/bin/

//设置代理,在后台启动 consul 服务端
consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.20 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &



consul agent \
开启监听服务
-server \
指定集群当中服务器节点。consul的RAFT算法实现分布式结构中节点的一致性。集群当中的成员,直接成为集群的leader,后续加入的服务器都是follower。

-bootstrap \
表示该节点是引导节点,引导选举过程,以及为后续加入的server做引导程序,加入集群

-ui \
启动图形化界面

-data-dir=/var/lib/consul-data \
consul存储数据的路径

-bind=192.168.233.49 \
服务端绑定的IP地址,以便节点当中通信

-client=0.0.0.0 \
客户端地址,任意主机都可以和server建立通信(生产中是指定服务器)

-node=consul-server01 
指定consul节点的名称,在集群当中consul节点的名称都是唯一的,不可以重复。

&> /var/log/consul.log &
重定向输出到consul.log

查看服务是否启动

netstat -natp | grep consul

启动consul后默认会监听5个端口:

  • 8300: 用于Raft协议的端口。Consul使用Raft算法进行分布式一致性,这个端口用于处理复制、领导者选举等。
  • 8301: 用于LAN Gossip的端口。LAN Gossip是Consul中用于在局域网内进行节点间通信和信息传播的协议。
  • 8302: 用于WAN Gossip的端口。WAN Gossip用于在广域网(WAN)中进行节点间的通信和信息传播。
  • 8500: 用于Web UI的端口。Consul提供一个用户界面,可以通过这个端口访问,用于可视化地查看和管理Consul的集群状态。
  • 8600: 用于DNS查询的端口。Consul提供DNS接口,可以通过这个端口进行DNS查询,以获取节点和服务的信息。
     

查看集群信息

#查看members状态

#查看members状态
consul members

查看集群状态

consul operator raft list-peers
查看集群状态

curl 127.0.0.1:8500/v1/status/peers
查看集群的server成员

curl 127.0.0.1:8500/v1/status/leader
查看集群的领导者

curl 127.0.0.1:8500/v1/catalog/services
查看已经被集群发现和注册的服务

curl 127.0.0.1:8500/v1/catalog/nodes
查看集群节点的详细信息

docker2

docker run -d \
--name=registrator \
-v /var/run/docker.sock/tmp/docker.sock
--restart=always
--gliderlabs/registrator:latest
--ip=20.0.0.20 \
consul://20.0.0.20:8500



docker run -d \
--name=registrator \
-v /var/run/docker.sock/tmp/docker.sock
docker.sock是docker守护进程的UNIX的套接字文件,把他映射到容器当中,registrator容器可以监听docker的所有事件,并且完成自动注册服务。

--restart=always
--gliderlabs/registrator:latest
--ip=20.0.0.30 \
注册在consul的IP地址。

consul://20.0.0.20:8500
所有发现的服务都会注册到指定的server节点。

创建容器

docker run -itd -p 81:80 --name test-1 -h test1 nginx

-h:指定创建好的主机名

docker run -itd -p 82:80 --name test-2 httpd

如何实现负载均衡

//容器服务自动加入 Nginx 集群
1. 安装 Gliderlabs/Registrator
Gliderlabs/Registrator 可检查容器运行状态自动注册,还可注销 docker 容器的服务到服务配置中心。
目前支持 Consul、Etcd 和 SkyDNS2。 

#客户端执行:
docker run -d \
--name=registrator \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
--ip=20.0.0.30 \
consul://20.0.0.20:8500

-d: 以后台模式(detached mode)运行容器。

--name=registrator: 为容器指定一个名称为 "registrator"。

-v /var/run/docker.sock:/tmp/docker.sock: 将 Docker 守护进程的 UNIX 套接字(socket)映射到容器内的 /tmp/docker.sock。
这样 registrator 可以监听 Docker 事件并自动注册服务。

--restart=always: 在容器退出时总是重新启动容器。

gliderlabs/registrator:latest: 使用的 Docker 镜像是 gliderlabs/registrator,该镜像包含了 registrator 工具。

--ip=20.0.0.30: 指定 registrator 的 IP 地址为 20.0.0.30。
这是 registrator 在服务发现工具(Consul)中注册服务时使用的 IP 地址。

consul://20.0.0.20:8500: 指定 registrator 使用 Consul 作为服务发现工具,Consul 服务的地址是 20.0.0.20:8500。

测试服务发现功能是否正常

docker run -itd -p:83:80 --name test-01 -h test01 nginx
docker run -itd -p:84:80 --name test-02 -h test02 nginx
docker run -itd -p:88:80 --name test-03 -h test03 httpd

 准备 template nginx 模板文件
//在consul服务器上操作
vim /opt/consul/nginx.ctmpl
#定义nginx upstream一个简单模板
upstream http_backend {
  {{range service "nginx"}}
   server {{.Address}}:{{.Port}};
   {{end}}
}

在这个配置中,{{range service "nginx"}} 遍历了由 Consul 注册的所有服务名称为 "nginx" 的服务。
然后,对于每个服务实例,server {{.Address}}:{{.Port}}; 将服务的地址和端口添加到 http_backend 的 upstream 中。

这样的配置允许 Nginx 动态地发现和负载均衡由 Consul 注册的所有 "nginx" 服务的实例。
这对于构建基于微服务架构的应用程序的负载均衡是非常有用的。

#定义一个server,监听8000端口,反向代理到upstream
server {
    listen 8000;
    server_name localhost 20.0.0.20;
    access_log /var/log/nginx/kgc.com-access.log;							#修改日志路径
    index index.html index.php;
    location / {
        proxy_set_header HOST $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Client-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://http_backend;
    }
}

编译安装nginx 

编译安装nginx
yum -y install pcre-devel zlib-devel gcc gcc-c++ make
useradd -M -s /sbin/nologin nginx
tar zxvf nginx-1.22.0.tar.gz -C /opt/
cd /opt/nginx-1.22.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make -j 4 && make install

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

3. 配置 nginx
vim /usr/local/nginx/conf/nginx.conf
......
http {
     include       mime.types;
     include  vhost/*.conf;       				#添加虚拟主机目录
     default_type  application/octet-stream;
......

//创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost

//创建日志文件目录
mkdir /var/log/nginx

//启动nginx
nginx

配置并启动 template

consul-template --consul-addr 192.168.233.10:8500 \
template "/opt/consul/nginx.ctmpl:/usr/local/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info



consul-template --consul-addr 192.168.233.10:8500 \
指定consul地址(从哪里获取数据),告诉consul-template从server节点获取数据


template "/opt/consul/nginx.ctmpl:/usr/local/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload"

第一部分
/opt/consul/nginx.ctmpl
配置文件模板的位置

第二部分
/usr/local/vhost/test.conf
基于模板生成配置文件的位置

第三部分
/usr/local/nginx/sbin/nginx -s reload"
只要集群中服务发生变化,可以随时更新到配置文件当中

log-level=info
设置comsul-template的日志级别为info

另外打开一个终端查看生成配置文件

访问 template-nginx

访问浏览器   ip:8000不断刷新测试轮询

consul的多节点

docker3
cd /opt
拖入consul
unzip consul_0.9.2
...
consul agent \
-server \
-ui \
-data-dir=/var/lib/consul-data \
-bind=192.168.233.60 \
-client=0.0.0.0 \
-node=consul-server02 \
-enable-script-check=true
-datacenter=dc1 \
-join 192.168.233.40 &> /var/log/consul.log &

去浏览器访问

添加成功

脱离集群

consul leave

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/248578.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

大创项目推荐 深度学习 opencv python 实现中国交通标志识别

文章目录 0 前言1 yolov5实现中国交通标志检测2.算法原理2.1 算法简介2.2网络架构2.3 关键代码 3 数据集处理3.1 VOC格式介绍3.2 将中国交通标志检测数据集CCTSDB数据转换成VOC数据格式3.3 手动标注数据集 4 模型训练5 实现效果5.1 视频效果 6 最后 0 前言 🔥 优质…

通义千问 Qwen-72B-Chat在PAI-DSW的微调推理实践

01 引言 通义千问-72B(Qwen-72B)是阿里云研发的通义千问大模型系列的720亿参数规模模型。Qwen-72B的预训练数据类型多样、覆盖广泛,包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上,使用对齐机制打造的…

String类的hashCode()方法源码分析

Object类中的hashCode()方法: 同一个对象,hashCode必须相同;如果两个对象的equals相等,那么hashCode也必须要相等!hashCode()方法是native本地方法,是C代码,hashCode的值,不一定是…

高级前端开发工程师

岗位需求 熟练掌握前端主流框架Vue、React、Angular,至少熟练掌控Vue全家桶 文章目录 岗位需求前言一、Vue框架二、React框架三、Angular框架四、什么是Vue全家桶前言 -那就看你表哥的电脑里有没有硬盘 -我不敲键盘 一、Vue框架 Vue(读音为/vjuː/,类似于"view"…

生产环境_Spark处理轨迹中跨越本初子午线的经度列

使用spark处理数据集,解决gis轨迹点在地图上跨本初子午线的问题,这个问题很复杂,先补充一版我写的 import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.sql.func…

Unity inspector绘制按钮与Editor下生成与销毁物体的方法 反射 协程 Editor

应美术要求,实现一个在编辑环境下,不运行,可以实例化预制体的脚本 效果如上图所示 1.去实现一个简单的 行、列实例化物体脚本 2.在Inspector下提供按钮 3.将方法暴露出来(通过自定义标签实现) 需求一 using System.C…

单片机Freertos入门(二)任务的创建、删除

1、串口配置 首先将串口进行配置,后续经常会应用,具体步骤点击:串口配置。 2、任务 创建一个任务,就是开辟一个空间、每个任务中都会有while(1)死循环。 2.1相关函数 动态创建:xTaskCreate…

PostgreSQL常用命令

数据库版本 :9.6.6 注意 :PostgreSQL中的不同类型的权限有 SELECT,INSERT,UPDATE,DELETE,TRUNCATE,REFERENCES,TRIGGER,CREATE,CONNECT,TEMPORARY,EXECUTE 和 USAGE。 1. 登录PG数据库 以管理员身份 postgres 登陆,然后通过 #psql -U postgres #sudo -i -u postgres …

【强化学习-读书笔记】表格型问题的 Model-Free 方法

参考 Reinforcement Learning, Second Edition An Introduction By Richard S. Sutton and Andrew G. Barto无模型方法 在前面的文章中,我们介绍的是有模型方法(Model-Based)。在强化学习中,"Model"可以理解为算法…

AcWing 1250. 格子游戏(并查集)

题目链接 活动 - AcWing本课程系统讲解常用算法与数据结构的应用方式与技巧。https://www.acwing.com/problem/content/1252/ 题解 当两个点已经是在同一个连通块中,再连一条边,就围成一个封闭的圈。一般用x * n y的形式将(x, y&#xff0…

数据持久化与临时存储的对决:localStorage 与 sessionStorage(下)

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

泛型的相关内容

首先我们来了解一下什么是泛型&#xff0c;泛型的作用又是什么。 泛型的形式是 ArrayList<Object> objects new ArrayList<>(); 这里的<Object>这个就是泛型&#xff0c;添加泛型的作用又是什么呢&#xff0c;它可以限制添加对象的类型&#xff0c;比如A…

爬虫akamai案例:DHL国际物流

声明&#xff1a; 该文章为学习使用&#xff0c;严禁用于商业用途和非法用途&#xff0c;违者后果自负&#xff0c;由此产生的一切后果均与作者无关 一、Akamai简介 Akamai是一家提供内容传递网络&#xff08;CDN&#xff09;和云服务的公司。CDN通过将内容分发到全球各地的服…

系统运行占用过高

1、CPU过高的问题排查 示例代码&#xff1a; public class Test { static class MyThread extends Thread { public void run() { // 死循环&#xff0c;消耗CPU int i 0; while (true) { i; } } } public static void main(String args[]) throws InterruptedException { ne…

跟随鼠标动态显示线上点的值(基于Qt的开源绘图控件QCustomPlot进行二次开发)

本文为转载 原文链接&#xff1a; 采用Qt快速绘制多条曲线&#xff08;折线&#xff09;&#xff0c;跟随鼠标动态显示线上点的值&#xff08;基于Qt的开源绘图控件QCustomPlot进行二次开发&#xff09; 内容如下 QCustomPlot是一个开源的基于Qt的第三方绘图库&#xff0c;能…

docker镜像与容器的迁移

docker容器迁移有两组命令&#xff0c;分别是 save & load &#xff1a;操作的是images&#xff0c; 所以要先把容器commit成镜像export & import&#xff1a;直接操作容器 我们先主要看看他们的区别&#xff1a; 一 把容器打包为镜像再迁移到其他服务器 如把mysq…

大模型学习之GPT系列

GPT系列 预备知识GPT-1无监督预训练有监督的微调训练 GPT-2数据集&#xff1a;输入表示模型实验 GPT-3模型数据集实验局限性 InstructGPTGPT-4GPT-4 新特性基础能力 参考文献 大模型 GPT演进路线图 预备知识 Transformer 结构图 GPT-1 首先使用未标注的数据训练一个预训练…

mac电脑html文件 局域网访问

windows html文件 局域网访问 参考 https://blog.csdn.net/qq_38935512/article/details/103271291mac电脑html文件 局域网访问 开发工具vscode 安装vscode插件 Live Server 完成后打开项目的html 右键使用Live Server打开页面 效果如下&#xff0c;使用本地ip替换http://12…

LVS负载均衡器(nat模式)+nginx(七层反向代理)+tomcat(多实例),实现负载均衡和动静分离

目录 前言 一、配置nfs共享存储 二、配置2个nginx节点服务的网页页面 节点1:192.168.20.10 步骤一&#xff1a;修改网关指向调度器的内网ip地址 步骤二&#xff1a;将nfs共享的目录进行挂载&#xff0c;并修改nginx的配置文件中location的root指向挂载点 步骤三&#xff…

lua安装

lua安装 1.Lua介绍 特点&#xff1a;轻量、小巧。C语言开发。开源。 设计的目的&#xff1a;嵌入到应用程序当中&#xff0c;提供灵活的扩展和定制化的功能。 luanginx&#xff0c;luaredis。 2.windows安装lua windows上安装lua&#xff1a; 检查机器上是否有lua C:\U…