跨节点通讯，需要通过NAT，即需要做源地址转换。

    k8s网络通信：

        1） 容器间通信：同一个pod内的多个容器间的通信，通过lo即可实现；

        2） pod之间的通信，pod ip <---> pod ip，pod和pod之间要不经过任何转换即可通信；

        3） pod和service通信:pod ip <----> cluster ip（即service ip）<---->pod ip，他们通过iptables或ipvs实现通信，另外大家要注意ipvs取代不了iptables，因为ipvs只能做负载均衡，而做不了nat转换；

        4） Service与集群外部客户端的通信

    看到mode是空的，我们把它改为ipvs就可以了。

    k8s要靠CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannet，callco，canel，kube-router。

    这些插件使用的解决方案都如下：

    1）虚拟网桥，虚拟网卡，多个容器共用一个虚拟网卡进行通信；

    2）多路复用：MacVLAN，多个容器共用一个物理网卡进行通信；

    3）硬件交换：SR-LOV，一个物理网卡可以虚拟出多个接口，这个性能最好。

 CNI插件存放位置

    flanel只支持网络通讯，但是不支持网络策略。

    callco网络通讯和网络策略都支持。

    canel：flanel+callco合起来的功能。

    我们可以部署flanel提供网络通讯，再部署一个callco只提供网络策略。而不用canel。

    mtu：是指一种通信协议的某一层上面所能通过的最大数据包大小。

    通过ifconfig命令，我们可以看到flannel.1的地址是10.244.0.0，子网掩码是255.255.255.255，mtu是1450，mtu要留出一部分做封装叠加，额外开销使用。

    cni0只有在pod运行时才会出现。

    两个节点上的pod可以借助flannel隧道进行通信。默认使用的VxLAN协议，因为它有额外开销，所以性能有点低。

    flannel第二种协议叫host-gw(host gateway)，即Node节点把自己的网络接口当做pod的网关使用，从而使不同节点上的node进行通信，这个性能比VxLAN高，因为它没有额外开销。不过他有个缺点， 就是各node节点必须在同一个网段中 。

     另外，如果两 个pod所在节点在同一个网段中 ，可以让VxLAN也支持host-gw的功能， 即直接通过物理网卡的网关路由转发，而不用隧道flannel叠加，从而提高了VxLAN的性能，这种flannel的功能叫directrouting。

    看到flannel是以pod的daemonset控制器形式运行的（其实flannel还可以以守护进程的方式运行）。

     flannel的配置参数：

        1、network ：flannel使用的CIDR格式的网络地址，用于为pod配置网络功能。

            1)10.244.0.0/16--->

                    master: 10.244.0.0https://blog.itpub.net/28916011/viewspace-2215295/24

                    node01: 10.244.1.0/24

                    ....

                    node255: 10.244.255.0/24

                可以支持255个节点

             2)10.0.0.0/8

                    10.0.0.0/24

                    ...

                    10.255.255.0/24

                可以支持6万多个节点

         2、SubnetLen ：把network切分为子网供各节点使用时，使用多长的掩码进行切分，默认为24位；

         3、SubnetMin ：指明子网中的地址段最小多少可以分给子网使用，比如可以限制10.244.10.0/24，这样0~9就不让用；

         4、SubnetMax ：表示最多使用多少个，比如10.244.100.0/24

         5、Backend: Vxlan，host-gw，udp（最慢）

flannel

    支持多种后端

    Vxlan

        1.valan

        2.Dirextrouting

    host-gw：Host Gateway  #不推荐，只能在二层网络中，不支持跨网络，如果有成千上万的Pod，容易产生广播风暴

    UDP：性能差

    在其他节点上抓包，发现根本就在ens192上抓不到包。

    可以看到veth这些接口都是桥接到cni0上的。

    brctl show表示查看已有网桥。

    可以看到，在node节点，可以在cni0端口上抓到容器里面的Ping时的包。

    其实，上面ping时的数据流是先从cni0进来，然后从flannel.1出去，最后借助物理网卡ens32发出去。所以，我们在flannel.1上也能抓到包：

    同样，在ens192物理网卡上也能抓到包：

    下面我们把flannel的通信模式改成directrouting的方式

[root@master flannel]# kubectl get configmap kube-flannel-cfg -o json -n kube-system

    看到有Directrouting，说明生效了。

    重启整个k8s，然后再看：

    继续登录到一个pod中进行ping测试：

    通过抓包可以看到，现在在pod中进行互ping，是从物理网卡ens192进出的，这就是directrouting，这种性能比默认vxlan高。