docker+awk=无敌?!
- 前言
- 需求分析
- 容器间通过容器名称访问
- 脚本实现一键部署
- 命令解释
前言
当今软件开发的世界充满了数据,而 Docker 则是许多开发者首选的容器化解决方案。但是,要从这些数据中提取有用的信息并不容易。这就是为什么我们需要 Awk 这样的工具。Awk 是一种强大的文本处理工具,具有灵活的语法和强大的功能,能够轻松地处理和转换文本数据。结合 Docker 和 Awk,您可以构建出高效的数据处理管道,从而在开发和运维过程中更加游刃有余。
需求分析
我需要使用docker来部署一个springboot+vue的项目,其中我需要用到的镜像有springboot项目镜像、vue项目镜像、redis镜像、zookeeper镜像,并且我需要完成以下几点
- springboot项目配置redis和zookeeper时候使用namespace,也就是说host=test-redis这种,主要是为了防止ip会变化(下面会讲解决办法)
- 容器之间可以互相访问,通过namespace,也可以说是容器名称
- 脚本一键部署项目(需满足自动拉取最新的镜像,自动run一个容器,停止并删除老版本的容器,删除之前存在的镜像)
容器间通过容器名称访问
-
首先我们要创建一个网络,其实类似于docker-compose下
docker network create --subnet=172.19.0.0/16 my_network
这条命令创建了一个名为
my_network
的 Docker 网络,并指定了子网为172.19.0.0/16
。让我解释一下每个部分的含义:
-
docker network create
: 这是 Docker 命令行工具中用于创建新网络的命令。它告诉 Docker 创建一个新的网络。 -
--subnet=172.19.0.0/16
: 这个选项指定了网络的子网。子网用于划分 IP 地址范围。在这个例子中,子网是172.19.0.0/16
,这意味着这个网络可以分配172.19.0.0
到172.19.255.255
之间的 IP 地址给容器使用。这样做是为了确保在这个网络中的容器可以使用属于这个子网的 IP 地址。 -
my_network
: 这是网络的名称。它指定了要创建的网络的名称为my_network
。这个名称可以用来在后续的 Docker 命令中引用这个网络,比如将容器连接到这个网络或者查看这个网络的信息。
-
-
创建容器的时候指定在这个网络下
docker run -d -p 6399:6379 --name test-redis --net my_network redis
这条命令运行了一个 Redis 容器,并将其命名为
test-redis
,同时将该容器连接到名为my_network
的 Docker 网络中。具体参数的含义如下:docker run
: 这是 Docker 命令行工具中用于运行容器的命令。-d
: 这个选项表示以后台(detached)模式运行容器,即在后台运行容器,并且不会阻塞当前终端。-p 6399:6379
: 这个选项将容器的端口6379
映射到主机的端口6399
。这样可以让主机上的其他程序通过主机的6399
端口来访问 Redis 服务。在这个例子中,Redis 服务在容器内的6379
端口上运行,但是外部程序可以通过主机的6399
端口来访问。--name test-redis
: 这个选项为容器指定一个名称,即test-redis
。这个名称可以用来在后续的 Docker 命令中引用这个容器。--net my_network
: 这个选项将容器连接到名为my_network
的 Docker 网络中。这样做可以让test-redis
容器与该网络中的其他容器进行通信,而不是与默认的桥接网络进行通信。
-
这样就可以实现容器中互相通信了
# springboot中配置redis的信息就可以这样写 redis.host=test-redis
当然上面的仅仅是其中一种实现的方式,还有别的很多的实现方式,比如我可以用docker-compose来写,比如我可以使用docker于宿主机共享网络和端口等等
脚本实现一键部署
#!/bin/bash
# 检查是否传递了一个参数
if [ "$#" -ne 1 ]; then
echo "错误:需要传递一个参数"
exit 1
fi
# 启动 Redis 和 Zookeeper 容器
echo "启动 Redis 容器"
docker start test-redis
echo "启动 Zookeeper 容器"
docker start test-zookeeper
# 提取参数,vue表明前端项目,dasmart表明后端项目
prefix="$1"
vue="${prefix}-vue"
dasmart="${prefix}-dasmart"
# 使用curl获取数据,并提取第一条数据
image_vue_tag=$(curl -u "$HARBOR_NAME:$HARBOR_PASSWORD" https://harbor.com/api/v2.0/projects/acowbo/repositories/"$vue"/artifacts/ | grep -o '"name":"[^"]*"' | sed 's/"name":"\([^"]*\)"/\1/' | head -n 1)
image_dasmart_tag=$(curl -u "$HARBOR_NAME:$HARBOR_PASSWORD" https://harbor.com/api/v2.0/projects/acowbo/repositories/"$dasmart"/artifacts/ | grep -o '"name":"[^"]*"' | sed 's/"name":"\([^"]*\)"/\1/' | head -n 1)
# 检查是否成功获取到数据
if [ -z "$image_vue_tag" ] || [ -z "$image_dasmart_tag" ]; then
echo "未能获取到镜像标签"
exit 1
fi
# 查找并停止匹配到的容器
container_ids=$(docker ps -a | grep -E "$vue|$dasmart" | awk '{print $1}')
if [ -n "$container_ids" ]; then
echo "找到匹配的容器,停止并删除它们:"
echo "$container_ids" | xargs docker stop
echo "$container_ids" | xargs docker rm
else
echo "没有找到匹配的容器,不执行停止和删除操作。"
fi
# 查找并删除匹配到的镜像
image_ids=$(docker images | grep "$prefix" | awk '{print $3}')
if [ -n "$image_ids" ]; then
echo "找到匹配的镜像,删除它们:"
echo "$image_ids" | xargs docker rmi
else
echo "没有找到匹配的镜像,不执行删除操作。"
fi
echo "拉取并运行 $prefix dasmart 容器"
docker pull harbor.com/acowbo/"$dasmart":"$image_dasmart_tag"
docker run -d -p 31342:11025 --name bridge-dasmart --net redis_network harbor.com/acowbo/"$dasmart":"$image_dasmart_tag"
echo "拉取并运行 $prefix vue 容器"
docker pull harbor.com/acowbo/"$vue":"$image_vue_tag"
docker run -d -p 31344:8080 --name bridge-vue harbor.com/acowbo/"$vue":"$image_vue_tag"
echo "脚本执行完成"
命令解释
这个命令的作用是从 Harbor 仓库中获取具有指定名称的项目下特定镜像仓库(repository)的最新构建(artifact)的名称。
让我们逐步解释这个命令:
-
curl -u "$HARBOR_NAME:$HARBOR_PASSWORD" https://harbor.com/api/v2.0/projects/acowbo/repositories/"$vue"/artifacts/
:curl
是一个用于发送 HTTP 请求的命令行工具。-u "$HARBOR_NAME:$HARBOR_PASSWORD"
选项指定了使用 Basic 认证,并提供了 Harbor 用户名和密码。https://harbor.com/api/v2.0/projects/acowbo/repositories/"$vue"/artifacts/
是要访问的 API 端点,其中$vue
是变量,表示所需镜像仓库的名称。该命令会向 Harbor 发送一个 API 请求,以获取指定项目中指定仓库的所有构建信息。
-
grep -o '"name":"[^"]*"'
:grep
是一个用于在文本中搜索匹配模式的工具。-o
选项表示只输出匹配到的内容。'"name":"[^"]*"'
是一个正则表达式,用于匹配形如"name":"..."
格式的字符串。这样可以从 API 返回的数据中提取出构建的名称。
-
sed 's/"name":"\([^"]*\)"/\1/'
:sed
是一个流式文本编辑器,用于对文本进行处理。's/"name":"\([^"]*\)"/\1/'
是一个替换命令,将匹配到的字符串中的"name":"..."
部分替换为其中的名称。\([^"]*\)
是一个捕获组,用于匹配双引号之间的任意字符,即构建的名称。\1
是一个反向引用,表示捕获组中匹配到的内容。
-
head -n 1
:head
是一个命令,用于显示文件的前几行。-n 1
选项表示只输出第一行。
综上所述,这个命令的最终效果是从 Harbor 仓库中获取指定项目下指定镜像仓库的最新构建的名称,并将其输出到标准输出。