k8s-flannel_心得技巧

心得技巧

html5 HTML/Xhtml CSS XML/XSLT Dreamweaver教程 Frontpage教程心得技巧

上一篇: 第十次作业下一篇:ExpRe[14] 开源文献管理软件Zote...

k8s-flannel

发布时间：2022-06-29 发布网站：脚本宝典

脚本宝典收集整理的这篇文章主要介绍了k8s-flannel，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

简介Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的docker容器都具有全集群唯一的虚拟IP地址。

在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。

Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。

Flannel实质上是一种“覆盖网络(overlaynetwork)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已经支持udp、vxlan、host-gw、aws-vpc、GCE和alloc路由等数据转发方式，默认的节点间数据通信方式是UDP转发。

简单总结Flannel的特点使集群中的不同Node主机创建的Docker容器都具有全集群唯一的虚拟IP地址。

建立一个覆盖网络（overlay network），通过这个覆盖网络，将数据包原封不动的传递到目标容器。覆盖网络是建立在另一个网络之上并由其基础设施支持的虚拟网络。覆盖网络通过将一个分组封装在另一个分组内来将网络服务与底层基础设施分离。在将封装的数据包转发到端点后，将其解封装。

创建一个新的虚拟网卡flannel0接收docker网桥的数据，通过维护路由表，对接收到的数据进行封包和转发（vxlan）。

etcd保证了所有node上flanned所看到的配置是一致的。同时每个node上的flanned监听etcd上的数据变化，实时感知集群中node的变化。

Flannel对网络提出的解决方法互不冲突的IPflannel会给集群内每个pod分配一个全局唯一的IP地址；flannel会给集群内node节点分配不同的小子网，pod都运行在这个网段，并且作为pod内容器的网关

当前node主机IP地址范围

Mast节点
]# cat /run/flannel/subnet.env
FLANNEL_NETWORK=10.244.0.0/16  //flannel网段
FLANNEL_SUBNET=10.244.0.1/24     //当前node节点的子网，每个node节点的子网都不一样，node的pod都运行在这个网段
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

Node1节点
]# cat /run/flannel/subnet.env
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.1.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

Node2节点
]#  cat /run/flannel/subnet.env
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.2.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

node节点的子网网段为pod的网关

]# ifconfig    //pod被调度到node1节点
cni0: flags=4163<UP,brOADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.1.1  netmask 255.255.255.0  broadcast 10.244.1.255
        inet6 fe80::fc02:90ff:fed0:5fa4  PRefixlen 64  scoPEid 0x20<link>
        ether fe:02:90:d0:5f:a4  txqueuelen 1000  (Ethernet)
        RX packets 573  bytes 50081 (48.9 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 643  bytes 163362 (159.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

查看pod内容器网关    
]# kubectl  exec -it busybox -n linux40  sh
/ # route -n  //可以看到网关地址为cni0的地址
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.244.1.1      0.0.0.0         UG    0      0        0 eth0
10.244.0.0      10.244.1.1      255.255.0.0     UG    0      0        0 eth0
10.244.1.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0

查看网桥设备
]#yum -y install bridge-utils.x86_64
]# brctl  show    //查看网桥设备，接收pod报文信息并发送给flannel.1，flannel.1封装发送给eth0网卡，eth0再次封装转发
bridge name     bridge id               STP enabled     interfaces
cni0            8000.eae8be1e6915       no              veth1d9832ad   //容器与网桥设备绑定的接口
                                                        vethb5f67d2f   //可以在宿主机使用ifconfig查看容器虚拟网卡
docker0         8000.0242acd62831       no

pod之间互相访问

1. flanneld将本主机获取的subnet以及用于主机间通信的Public IP通过etcd存储起来，需要时发送给相应模块。2. flannel利用各种backend mechanism，例如udp，vxlan等等，跨主机转发容器间的网络流量，完成容器间的跨主机通信。

flannel实现pod通信

@H_715_304@

pod内部通信 pod内多个容器通信

pod跨主机通信 pod与pod通信同一个node节点不同node节点

pod到公网通信访问宿主机的同子网的其他服务（MySQL、redis等）访问宿主机外网

外网用户访问集群pod

flannel网络模型，容器如何实现跨主机通信

k8s-flannel

从上面通信过程中可以看到，pod实现跨主机通信，数据必须经过两次封装与解封装，性能与效率会比较差。

Flannel目前有三种方式实现 UDP/VXLAN/host-gw：

UDP：早期版本的Flannel使用UDP封装完成报文的跨越主机转发，其安全性及性能略有不足。

VXLAN：Linux 内核在在2012年底的v3.7.0之后加入了VXLAN协议支持，因此新版本的Flannel也有UDP转换为VXLAN，VXLAN本质上是一种tunnel（隧道）协议，用来基于3层网络实现虚拟的2层网络，目前flannel 的网络模型已经是基于VXLAN的叠加(覆盖)网络。

Host-gw：也就是Host GateWay，通过在node节点上创建到达各目标容器地址的路由表而完成报文的转发，因此这种方式要求各node节点本身必须处于同一个局域网(二层网络)中，因此不适用于网络变动频繁或比较大型的网络环境，但是其性能较好。

各个组件的解释：Cni0:网桥设备，每创建一个pod都会创建一对 veth pair。其中一端是pod中的eth0，另一端是Cni0网桥中的端口（网卡）。Pod中从网卡eth0发出的流量都会发送到Cni0网桥设备的端口（网卡）上。Cni0 设备获得的ip地址是该节点分配到的网段的第一个地址。

]# ifconfig
cni0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.0.1  netmask 255.255.255.0  broadcast 10.244.0.255
        inet6 fe80::e8e8:beff:fe1e:6915  prefixlen 64  scopeid 0x20<link>
        ether ea:e8:be:1e:69:15  txqueuelen 1000  (Ethernet)
        RX packets 17058  bytes 1160744 (1.1 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 17428  bytes 5210849 (4.9 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Flannel.1: overlay网络的设备，用来进行 vxlan 报文的处理（封包和解包）。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端。

flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.0.0  netmask 255.255.255.255  broadcast 10.244.0.0
        inet6 fe80::d475:83ff:fe2c:ff80  prefixlen 64  scopeid 0x20<link>
        ether d6:75:83:2c:ff:80  txqueuelen 0  (Ethernet)
        RX packets 4467  bytes 1251194 (1.1 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 4567  bytes 407173 (397.6 KiB)
        TX errors 0  dropped 8 overruns 0  carrier 0  collisions 0

Flanneld：flannel在每个主机中运行flanneld作为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库etcd，为flannel.1设备提供封装数据时必要的mac，ip等网络数据信息。

不同node上的pod的通信流程：

1. pod中产生数据，根据pod的路由信息，将数据发送到Cni0

2. Cni0 根据节点的路由表，将数据发送到隧道设备flannel.1

3. Flannel.1查看数据包的目的ip，从flanneld获得对端隧道设备的必要信息，封装数据包。

4. Flannel.1将数据包发送到对端设备。对端节点的网卡接收到数据包，发现数据包为overlay数据包，解开外层封装，并发送内层封装到flannel.1设备

5. Flannel.1设备查看数据包，根据路由表匹配，将数据发送给Cni0设备。

6. Cni0匹配路由表，发送数据给网桥上对应的端口。

vxlan模式

]# kubectl   exec -IT -n linux40                busybox sh
/ # route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.244.1.1      0.0.0.0         UG    0      0        0 eth0
10.244.0.0      10.244.1.1      255.255.0.0     UG    0      0        0 eth0
10.244.1.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0

# 可以看到路由为pod—cni0—对端Flannel—pod
/ # trACERoute 10.244.2.37
traceroute to 10.244.2.37 (10.244.2.37), 30 hops max, 46 byte packets
 1  10.244.1.1 (10.244.1.1)  0.006 ms  0.004 ms  0.002 ms
 2  10.244.2.0 (10.244.2.0)  0.278 ms  0.847 ms  0.530 ms
 3  10-244-2-37.ng-deploy-80.linux40.svc.cluster.local (10.244.2.37)  0.780 ms  0.649 ms  0.743 ms

开启VxLAN Directrouting模式

需要让配置文件在node节点重新生效

root@k8s-master1:/etc/ansible# vim roles/flannel/templates/kube-flannel.yaML.j2
net-conf.json: |
{
"Network": "{{ CLUSTER_CIDR }}",
"Backend": {
"Type": "{{ FLANNEL_BACKEND }}",
"Directrouting": true        //开启直连路由模式
}

改之前的路由表

root@k8s-node2:~# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.7.254 0.0.0.0 UG 0 0 0 eth0
172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 docker0
172.31.0.0 172.31.0.0 255.255.255.0 UG 0 0 0 flannel.1
172.31.1.0 172.31.1.0 255.255.255.0 UG 0 0 0 flannel.1
172.31.2.0 0.0.0.0 255.255.255.0 U 0 0 0 cni0
172.31.3.0 172.31.3.0 255.255.255.0 UG 0 0 0 flannel.1
192.168.0.0 0.0.0.0 255.255.248.0 U 0 0 0 eth0

改之后的路由表

root@k8s-master1:/etc/ansible# ansible-playBook 06.network.yml
root@k8s-node1:~# reboot
root@k8s-node2:~# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.7.254 0.0.0.0 UG 0 0 0 eth0
172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 docker0
172.31.0.0 192.168.7.102 255.255.255.0 UG 0 0 0 eth0
172.31.1.0 192.168.7.101 255.255.255.0 UG 0 0 0 eth0
172.31.2.0 0.0.0.0 255.255.255.0 U 0 0 0 cni0
172.31.3.0 192.168.7.110 255.255.255.0 UG 0 0 0 eth0
192.168.0.0 0.0.0.0 255.255.248.0 U 0 0 0 eth0

验证修改后的路由效果

改之前的路由效果

ifconfig eth0   //容器网卡
eth0 Link encap:Ethernet HWaddr BE:EE:B9:F7:62:47
inet addr:172.31.3.4 Bcast:0.0.0.0 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1450 Metric:1
RX packets:48 errors:0 dropped:0 overruns:0 frame:0
TX packets:35 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:3700 (3.6 KiB) TX bytes:2286 (2.2 KiB)

traceroute 172.31.2.4
traceroute to 172.31.2.4 (172.31.2.4), 30 hops max, 46 byte packets
1 172.31.3.1 (172.31.3.1) 0.049 ms 0.012 ms 0.007 ms    //发给cni0
2 172.31.2.0 (172.31.2.0) 0.520 ms 0.639 ms 4.061 ms   //发给对端flannel
3 172.31.2.4 (172.31.2.4) 3.544 ms 0.587 ms 0.464 ms   //flannel发给pod

改之后的路由效果

ifconfig eth0   //容器网卡
eth0 Link encap:Ethernet HWaddr 5E:83:2C:DD:66:D3
inet addr:172.31.3.2 Bcast:0.0.0.0 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1450 Metric:1
RX packets:37 errors:0 dropped:0 overruns:0 frame:0
TX packets:18 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:2824 (2.7 KiB) TX bytes:1170 (1.1 KiB)

traceroute 172.31.2.2
traceroute to 172.31.2.2 (172.31.2.2), 30 hops max, 46 byte packets
1 172.31.3.1 (172.31.3.1) 0.007 ms 0.018 ms 0.010 ms    //本机cni0网卡
2 192.168.7.111 (192.168.7.111) 1.174 ms 0.244 ms 2.292 ms    //对端宿主机IP地址
3 172.31.2.2 (172.31.2.2) 2.527 ms 0.549 ms 0.456 ms     //宿主机发给pod

hostgw

hostgw是最简单的backend，它的原理非常简单，直接添加路由，将目的主机当做网关，直接路由原始封包。

例如，我们从etcd中监听到一个EventAdded事件subnet为10.1.15.0/24被分配给主机Public IP 192.168.0.100，hostgw要做的工作就是在本主机上添加一条目的地址为10.1.15.0/24，网关地址为192.168.0.100，输出设备为上文中选择的集群间交互的网卡即可。

优点：简单，直接，效率高

缺点：要求所有的pod都在一个子网中，如果跨网段就无法通信。

参考文章：k8s网络之Flannel网络

脚本宝典总结

以上是脚本宝典为你收集整理的k8s-flannel全部内容，希望文章能够帮你解决k8s-flannel所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。

标签：cap java linux load load mac master mysql mysql php python redis redis tcp tcp vim vim 并发并发数据库数据库程序员程序员

上一篇: 第十次作业下一篇:ExpRe[14] 开源文献管理软件Zote...

猜你在找的心得技巧相关文章

clion结合vcpkg以及GTest的使用 2022-07-07
EGF 2022-06-06
ExtJS 布局-Column布局（Column layout） 2022-06-05
颜色之ARGB与RGB、RGBA的区别与介绍 2022-04-15
rgba中的a是什么意思 CSS之RGBA颜色指南 2022-04-15
rootfs -根文件系统制作 2022-07-07
网页简单布局之结构与表现原则分享 2022-04-15
小项目中怎么防止Vue的闪现画面效果 2022-04-15
隐藏 Web 中的元素方法及优缺点教程详解 2022-04-15
告别硬编码让你的前端表格自动计算的实例代码 2022-04-15

全站导航更多