前面介绍了 Docker 管理工具 - Swarm 部署记录, 下面重点说下 Swarm 基于多主机容器通信的覆盖网络
在 Docker 版本 1.12 之后 swarm 模式原生支持覆盖网络(overlay networks), 可以先创建一个覆盖网络, 然后启动容器的时候启用这个覆盖网络,
这样只要是这个覆盖网络内的容器, 不管在不在同一个宿主机上都能相互通信, 即跨主机通信! 不同覆盖网络内的容器组之间是相互隔离的(相互 ping 不通)
swarm 模式的覆盖网络包括以下功能:
1)可以附加多个服务到同一个网络
2)默认情况下, service discovery 为每个 swarm 服务分配一个虚拟 IP 地址 (vip) 和 DNS 名称, 使得在同一个网络中容器之间可以使用服务名称为互相连接
3)可以配置使用 DNS 轮循而不使用 VIP
4)为了可以使用 swarm 的覆盖网络, 在启用 swarm 模式之间你需要在 swarm 节点之间开放以下端口:
5)TCP/UDP 端口 7946 用于容器网络发现
6)UDP 端口 4789 用于容器覆盖网络
实例如下:
----------- 在 Swarm 集群中创建 overlay 网络 ------------
[root@manager-node ~]# docker network create --driver overlay --opt encrypted --subnet 10.10.110.0/24 ngx_net
参数解释:
opt encrypted 默认情况下 swarm 中的节点通信是加密的在不同节点的容器之间, 可选的 opt encrypted 参数能在它们的 vxlan 流量启用附加的加密层
--subnet 命令行参数指定 overlay 网络使用的子网网段当不指定一个子网时, swarm 管理器自动选择一个子网并分配给网络
- [root@manager-node ~]# docker network ls
- NETWORK ID NAME DRIVER SCOPE
- ca221724531c bridge bridge local
- 10d1451ecc8d docker_gwbridge bridge local
- 5764ade8774b host host local
- 50kipkihuwxy ingress overlay swarm
- cz4b4ht5refq ngx_net overlay swarm
- f2af952cd27a none null local
由上可知, Swarm 当中拥有 2 套覆盖网络其中 "ngx_net" 网络正是我们在部署容器时所创建的成果而 "ingress" 覆盖网络则为默认提供
Swarm 管理节点会利用 ingress 负载均衡以将服务公布至集群之外
在将服务连接到这个创建的网络之前, 网络覆盖到 manager 节点上面输出的 SCOPE 为 swarm 表示将服务部署到 Swarm 时可以使用此网络
在将服务连接到这个网络后, Swarm 只将该网络扩展到特定的 worker 节点, 这个 worker 节点被 swarm 调度器分配了运行服务的任务
在那些没有运行该服务任务的 worker 节点上, 网络并不扩展到该节点
------------------ 将服务连接到 overlay 网络 -------------------
[root@manager-node ~]# docker service create --replicas 5 --network ngx_net --name my-test -p 80:80 nginx
上面名为 "my-test" 的服务启动了 3 个 task, 用于运行每个任务的容器都可以彼此通过 overlay 网络进行通信 Swarm 集群将网络扩展到所有任务处于 Running 状态的节点上
- [root@manager-node ~]# docker service ls
- ID NAME REPLICAS IMAGE COMMAND
- 17te6n0k1oko my-test 5/5 nginx
在 manager-node 节点上, 通过下面的命令查看哪些节点有处于 running 状态的任务:
- [root@manager-node ~]# docker service ps my-test
- ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR
- 9tr0570gwnkkuq8wdzc7wtwwm my-test.1 nginx node2 Running Running 18 seconds ago
- 5x033m0xp8vj4vqsvuj0j95q0 my-test.2 nginx manager-node Running Running 29 seconds ago
- 5h6qy4tac39kt230tw57j2e5a my-test.3 nginx manager-node Running Running 28 seconds ago
- 6jcrb41a0a4vrtll37uijmkm8 my-test.4 nginx node1 Running Running 19 seconds ago
- 1105fgy2kht30dc2ah8z3wdlj my-test.5 nginx node2 Running Running 18 seconds ago
可见三个节点都有处于 running 状态的任务, 所以 my-network 网络扩展到三个节点上
可以查询某个节点上关于 my-network 的详细信息:
- [root@manager - node ~]# docker network inspect ngx_net[ { "Name": "ngx_net",
- "Id": "cz4b4ht5refqxelx0mm871ec6",
- "Scope": "swarm",
- "Driver": "overlay",
- "EnableIPv6": false,
- "IPAM": { "Driver": "default",
- "Options": null,
- "Config": [ { "Subnet": "10.10.110.0/24",
- "Gateway": "10.10.110.1"
- } ]
- },
- "Internal": false,
- "Containers": { "02e671abf57d1b43ce1a1b73f59c126c596278ab7aa8c57fa1e61378abd27735": { "Name": "my-test.2.5x033m0xp8vj4vqsvuj0j95q0",
- "EndpointID": "3371ee20ce4d7696877e34e927857969f11892ff0949e2e9dea95823032dea77",
- "MacAddress": "02:42:0a:0a:6e:07",
- "IPv4Address": "10.10.110.7/24",
- "IPv6Address": ""
- },
- "bf1604fe4e222c07e6b6ca108fc0220b13c7e8d54f834b0322f54b334549d43f": {
- "Name": "my-test.3.5h6qy4tac39kt230tw57j2e5a",
- "EndpointID": "7b55a1c185d13be937de1effad548b6318ba1c44a4623f561b5c37f19209367c",
- "MacAddress": "02:42:0a:0a:6e:03",
- "IPv4Address": "10.10.110.3/24",
- "IPv6Address": ""
- }
- },
- "Options": { "com.docker.network.driver.overlay.vxlanid_list": "257",
- "encrypted": ""
- },
- "Labels": {}
- }]
从上面的信息可以看出在 manager-node 节点上, 名为 my-test 的服务有一个名为 my-test.2.5x033m0xp8vj4vqsvuj0j95q0 和
my-test.3.5h6qy4tac39kt230tw57j2e5a 的 task 连接到名为 ngx_net 的网络上(另外两个节点 node1 和 node2 同样可以用上面命令查看)
- [root@node1 ~]# docker network inspect ngx_net
- [
- {
- "Name": "ngx_net",
- "Id": "cz4b4ht5refqxelx0mm871ec6",
- "Scope": "swarm",
- "Driver": "overlay",
- "EnableIPv6": false,
- "IPAM": {
- "Driver": "default",
- "Options": null,
- "Config": [
- {
- "Subnet": "10.10.110.0/24",
- "Gateway": "10.10.110.1"
- }
- ]
- },
- "Internal": false,
- "Containers": {
- "f497fb37a622cc3342d2d24d61b0d5076666ac75e4cd685574a74d29799a9531": {
- "Name": "my-test.4.6jcrb41a0a4vrtll37uijmkm8",
- "EndpointID": "6b1fda6075c781acc6e1432b435d9753f859999a32990d9c13c51fe2e3e6e32f",
- "MacAddress": "02:42:0a:0a:6e:04",
- "IPv4Address": "10.10.110.4/24",
- "IPv6Address": ""
- }
- },
- "Options": {
- "com.docker.network.driver.overlay.vxlanid_list": "257",
- "encrypted": ""},"Labels": {}
- }
- ]
- [root@node2 ~]# docker network inspect ngx_net
- [
- {
- "Name": "ngx_net",
- "Id": "cz4b4ht5refqxelx0mm871ec6",
- "Scope": "swarm",
- "Driver": "overlay",
- "EnableIPv6": false,
- "IPAM": {
- "Driver": "default",
- "Options": null,
- "Config": [
- {
- "Subnet": "10.10.110.0/24",
- "Gateway": "10.10.110.1"
- }
- ]
- },
- "Internal": false,
- "Containers": {
- "42a889e407800c779ca444eea7116f2e0a4a784a6503a2292c079b5e5eaff543": {
- "Name": "my-test.5.1105fgy2kht30dc2ah8z3wdlj",
- "EndpointID": "995eb06349a548ba3a2e20b63076d05ab2f7b64a41f8cbd329e52b923965ecad",
- "MacAddress": "02:42:0a:0a:6e:05",
- "IPv4Address": "10.10.110.5/24",
- "IPv6Address": ""},"732b99e0d5ab470fc1e8df429d7fdc79c39bb3549c40304bba52aa0b14765d5f": {"Name":"my-test.1.9tr0570gwnkkuq8wdzc7wtwwm","EndpointID":"f80b6ee84bad1284ea7f36697b71c417e867b1dfb26c6e2295c16f6e9347f9ec","MacAddress":"02:42:0a:0a:6e:06","IPv4Address":"10.10.110.6/24","IPv6Address":""
- }
- },
- "Options": {
- "com.docker.network.driver.overlay.vxlanid_list": "257",
- "encrypted": ""},"Labels": {}
- }
- ]
可以通过查询服务来获得服务的虚拟 IP 地址, 如下:
- [root@manager-node ~]# docker service inspect --format='{{json .Endpoint.VirtualIPs}}' my-test
- [{"NetworkID":"50kipkihuwxy5dqf150z7guad","Addr":"10.255.0.2/16"},{"NetworkID":"cz4b4ht5refqxelx0mm871ec6","Addr":"10.10.110.2/24"}]
由上结果可知, 10.10.110.2 其实就是 swarm 集群内部的 vip, 整个网络结构如下所示:
- my-test
- vip:10.10.110.2
- node1 manager-node node2
- 10.10.110.4 10.10.110.3 10.10.110.5
- 10.10.110.7 10.10.110.6
Swarm 基于多主机容器网络 - overlay networks 梳理
来源: http://www.bubuko.com/infodetail-2491171.html