Docker网络原理及Cgroup硬件资源占用控制

docker的网络模式

获取容器的进程号

docker inspect -f '{{.State.Pid}}' 容器id/容器名

docker初始状态下有三种默认的网络模式，bridg（桥接），host（主机），none（无网络设置）

host主机模式

相当于Vmware中的桥接模式，与宿主机在同一个网络中，但没有独立IP地址。Docker使用了Linux的Namespaces技术来进行资源隔离，如PID Namespace隔离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、iptable规则等都与其他的Network Namespacel隔离。一个Docker容器一般会分配一个独立的Network. Namespace。

但如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace,而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡、配置自己的IP等，而是使用宿主机的IP和端口。

容器和宿主机共享网络命名空间，但没有独立IP地址，使用宿主机的IP地址，和宿主机共享端口范围，例如宿主机使用了80端口，那么容器不能使用80端口。这种模式比较方便，但不安全。

#创建容器web1，指定网络模式为 host
#容器和宿主机共享网络命名空间，但没有独立IP地址。使用宿主机的IP，和宿主机共享端口范围。
docker run -d --name web1 --net=host nginx

#访问宿主机的ip和80端口，则可以访问到tt1的nginx服务
curl http://192.168.73.105:80

container模式

这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的Ie，而是和一个指定的容器共享re、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。

新创建的B容器和A容器共享命名空间。假如A容器使用了80端口，B容器就不能使用80端口。

#基于镜像centos:7 创建一个名为web2的容器
docker run -itd --name web2 centos:7 /bin/bash
#查看容器web2的pid号
docker inspect -f '{{.State.Pid}}' web2
ls -l /proc/web2的pid/ns

#创建web3容器，使用container网络模式，和web2共享网络命名空间
docker run -itd --name web3 --net=container:web2 centos:7 bash
#查看web3容器的pid
docker inspect -f '{{.State.Pid}}' web3
ls -l /proc/web3的pid/ns/
#可以看到web3和web2共享同一个网络命名空间

none模式

使用none模式，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。也就是说，这个locker容器没有网卡、iP、路由等信息。这种网络模式下容器只有lo回环网络，没有其他网卡、这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。

bridge桥接模式

bridge模式是docker的默认网络模式，不用--net参数，就是bridge模式。

相当于Vmware中的 nat模式，容器使用独立.network Namespace，并连接到docker虚拟网卡。通过docker0网桥以及iptables

nat表配置与宿主机通信，此模式会为每一个容器分配hetwork Mamespace、设置等，并将一个主机上的 Docker容器连接到一个虚拟网桥上。

(1)当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Dokcer容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。

(2)从docker0子网中分配一个IP给容器使用，并设置docker0的Ip地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来、因此，veth设备常用来连接两个网络设备。

(3 ) Docker将 veth pair 设备的一端放在新创建的容器中，并命名为eth0(容器的网卡)，另一端放在主机中，以veth*这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过 brctl show命令查看。

(4) 使用docker run -p 时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL查看。

[root@localhost opt]#docker run -id --name c1 centos:7
[root@localhost opt]#docker run -id --name c2 centos:7
[root@localhost opt]#docker run -id --name c3 centos:7
[root@localhost opt]#brctl show
[root@localhost opt]#docker run -id --name c4 -p 8080:80 centos:7
[root@localhost opt]#brctl show
[root@localhost opt]#docker ps -a

容器的自定义网络

docker network create --subnet=172.66.0.0/16 --opt "com.docker.network.bridge.name"="docker1" mynetwork

docker run -id --net=mynetwork --ip 172.66.0.66 --name a3 centos:7

ping 172.66.0.66

如果想要删除自定义的网络，可以使用 docker network rm 网络模式名称 进行删除，例如docker network rm mynetwork。

删除网络模式前，需要先确保使用该网络模式创建的容器已退出（即已停止）。如果容器仍在运行，则该网络无法删除。

Docker容器的资源控制

Docker通过Cgroup 来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。Caroup 是ControlGroups的缩写，是Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 cpu、内存、磁盘，io等等)的机制，被LXC、docker等很多项目用于实现进程资源控制。Cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O或内存的分配控制等具体的资源管理是通过该功能来实现的。

资源限制：可以对任务使用的资源总额进行限制。
优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级。
资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等。
任务控制： cgroup可以对任务执行挂起、恢复等操作。

CPU 资源控制

（1）设置CPU使用率上限
Linux通过CFS（Completely Fair Scheduler，完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少 CPU 时间。

使用 --cpu-period 即可设置调度周期，使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS 周期的有效范围是 1ms~1s，对应的 --cpu-period 的数值范围是 1000~1000000。
而容器的 CPU 配额必须不小于 1ms，即 --cpu-quota 的值必须 >= 1000。

docker run -itd --name test5 centos:7 /bin/bash

docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3ed82355f811 nginx:latest "/bin/bash" 5 days ago Up 6 hours test5

cd /sys/fs/cgroup/cpu/docker/3ed82355f81151c4568aaa6e7bc60ba6984201c119125360924bf7dfd6eaa42b/
cat cpu.cfs_quota_us
-1

cat cpu.cfs_period_us
100000

cpu.cfs_period_us：表示 CFS 调度周期的长度，以微秒为单位。
在每个周期内，容器可以使用指定比例的 CPU 时间。默认情况下，cpu.cfs_period_us 的值是 100000（即 100 毫秒）。

cpu.cfs_quota_us：表示容器在 cpu.cfs_period_us 周期内能够使用的 CPU 时间量，同样以微秒为单位。
它定义了一个相对于周期的配额。如果设置为 -1，表示没有限制。如果设置为正值，表示在周期内的配额。
例如，如果 cpu.cfs_quota_us 设置为 50000，那么容器在一个周期内最多可以使用 50 毫秒的 CPU 时间。

在 Linux 的 CFS 调度器中，cpu.cfs_period_us 参数定义了一个周期，
而这个周期实际上是用来调度任务（包括容器）的基本时间单位。
然而，具体的一次调度的时间是由调度器决定的，并且这个时间在一般情况下是动态变化的。

创建容器时指定容器的cpu资源占用量上限

docker run -id --name c2 --cpu-quota 30000 centos:7
[root@localhost docker]#docker exec -it c2 bash
[root@10cfa036ff07 /]# vim cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done

top #可以看到这个脚本占了很多的cpu资源

#设置50%的比例分配CPU使用时间上限
docker run -itd --name test6 --cpu-quota 50000 centos:7 /bin/bash #可以重新创建一个容器并设置限额
或者
cd /sys/fs/cgroup/cpu/docker/3ed82355f81151c4568aaa6e7bc60ba6984201c119125360924bf7dfd6eaa42b/
echo 50000 > cpu.cfs_quota_us
docker exec -it 3ed82355f811 /bin/bash
./cpu.sh

top #可以看到cpu占用率接近50%，cgroups对cpu的控制起了效果

#在多核情况下，如果允许容器进程完全占用两个 CPU，

则可以将 cpu-period 设置为 100000（即 0.1 秒）， cpu-quota设置为 200000（0.2 秒）。

docker top test6 查看容器内PID和宿主机的映射关系。

root 23754 23729 49 15:52 pts/1 00:01:55 /bin/bash ./cpu.sh
root 是用户名。
23754 是进程在宿主系统上的 PID。
23729 是进程在容器内部的 PID。
15:52 是进程的启动时间。
pts/1 是终端类型和编号。
00:01:55 是进程的运行时间。
/bin/bash ./cpu.sh 是进程的命令

设置cpu资源的占用比（设置多个容器时才有效）

Docker 通过 --cpu-shares 指定 CPU 份额，默认值为1024，值为1024的倍数。
#创建两个容器为 c1 和 c2，若只有这两个容器，设置容器的权重，使得c1和c2的CPU资源占比为1/3和2/3。
docker run -itd --name c1 --cpu-shares 512 centos:7
docker run -itd --name c2 --cpu-shares 1024 centos:7

#分别进入容器，进行压力测试
yum install -y epel-release
yum install -y stress

#stress 是一个用于模拟系统负载的工具，它可以测试系统在高负载条件下的稳定性。

stress -c 4 #产生四个进程，每个进程都反复不停的计算随机数的平方根

#查看容器运行状态（动态更新）
docker stats
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
c3ee18e65852 c2 66.50% 5.5MiB / 976.3MiB 0.56% 20.4MB / 265kB 115MB / 14.2MB 4
bb02d3b345d8 c1 32.68% 2.625MiB / 976.3MiB 0.27% 20.4MB / 325kB 191MB / 12.7MB 4

可以看到在 CPU 进行时间片分配的时候，容器 c2 比容器 c1 多一倍的机会获得 CPU 的时间片。
但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器 c1 一定能获得 CPU 时间片。
比如容器 c1 的进程一直是空闲的，那么容器 c2 是可以获取比容器 c1 更多的 CPU 时间片的。
极端情况下，例如主机上只运行了一个容器，即使它的 CPU 份额只有 50，它也可以独占整个主机的 CPU 资源。

Cgroups 只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。
因此，无法单纯根据某个容器的 CPU 份额来确定有多少 CPU 资源分配给它，
资源分配结果取决于同时运行的其他容器的 CPU 分配和容器中进程运行情况。

docker run -itd --name c1 --cpu-shares 256 centos:7
docker run -itd --name c2 --cpu-shares 768 centos:7
docker run -itd --name c3 --cpu-shares 2048 centos:7

进行绑核创建容器

[root@localhost ~]#docker run -id --name b4 --cpuset-cpus 2 centos:7

#先分配虚拟机4个CPU核数
docker run -itd --name test7 --cpuset-cpus 1,3 centos:7 /bin/bash

#进入容器，进行压力测试
yum install -y epel-release
yum install stress -y
stress -c 4

#退出容器，执行 top 命令再按 1 查看CPU使用情况。

内存使用的限制

限制容器可以使用的最大内存

docker run -itd --name d1 -m 512m centos:7 /bin/bash
docker stats

限制容器可用的swap 大小

#--memory-swap 的值包含容器可用内存和可用swap，减去-m的值才是可用swap的值。
#表示容器可以使用512M的物理内存，并且可以使用512M的swap。因为1g减去512m的物理内存，剩余值才是可用swap。
docker run -itd --name d2 -m 512m --memory-swap=1g centos:7 bash
#--memoryswap值和 -m 的值相同，表示容器无法使用swap
docker run -itd --name d3 -m 512m --memory-swap=512m centos:7 bash
# --memory-swap 的值设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
docker run -itd --name d4 -m 512m centos:7 bash
# --memory-swap 值为 -1，它表示容器程序使用的内存受限，但可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。
docker run -itd --name d5 -m 512m --memory-swap=-1 centos:7 bash

对磁盘IO的配置控制（blkio）的限制

进行写速度限制的容器创建

[root@localhost ~]#docker run -it --name e3 --device-write-bps /dev/sda:1M centos:7 /bin/bash
[root@6c1b8bcf6b44 /]# dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct

--device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb(M)或者gb。
例：docker run -itd --name test11 --device-read-bps /dev/sda:1M centos:7 /bin/bash

--device-write-bps ：限制某个设备上的写速度bps（数据量），单位可以是kb、mb(M)或者gb。
例：docker run -itd --name test12 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

#创建容器，并限制写速度
docker run -it --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

#通过dd来验证写速度
dd if=/dev/zero of=test.out bs=1M count=10 oflag=direct #添加oflag参数以规避掉文件系统cache
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 10.0025 s, 1.0 MB/s

如果你在使用 dd 命令时不加 oflag=direct 参数，数据写入可能会经过文件系统缓存，
这会导致速度变快，因为数据首先被缓存到内存中，然后再写入磁盘。

使用 oflag=direct 参数会禁用文件系统缓存，直接将数据写入磁盘，
更真实地测试设备的性能，因为它模拟了直接写入物理设备的情况。

--device-read-iops ：限制读某个设备的iops（次数）
docker run -itd --name test13 --device-read-iops /dev/sda:100 centos:7
设备的读取操作为每秒 100 次

--device-write-iops ：限制写入某个设备的iops（次数）
docker run -itd --name test14 --device-write-iops /dev/sda:50 centos:7
限制写入操作为每秒 50 次