Docker 容器跨主机通信：基于 VXLAN 与 Linux Bridge 的 2 节点网络搭建实战

在分布式应用架构中，容器跨主机通信是构建弹性服务的关键能力。本文将深入探讨如何利用 Linux 原生工具构建基于 VXLAN 的 Docker 容器网络，绕过 Docker 内置 Overlay 驱动，为系统管理员和 DevOps 工程师提供底层网络原理的实践视角。

1. 实验环境规划与准备

1.1 基础拓扑设计

我们采用双节点实验环境，每个节点配置如下：

• 物理网络 ：节点间通过物理网络互联（如 192.168.1.0/24）
• 容器网络 ：自定义 Docker 网络使用 172.18.0.0/16 网段
• VXLAN隧道 ：使用 VNI 200 建立逻辑通道

节点配置示例：

# Node1 物理网络配置
ip addr add 192.168.1.101/24 dev eth0

# Node2 物理网络配置  
ip addr add 192.168.1.102/24 dev eth0

1.2 工具链检查

确保系统已安装必要工具：

# 检查基础工具
which ip bridge-utils tcpdump docker

# 安装缺失组件（Ubuntu示例）
sudo apt update && sudo apt install -y \
    iproute2 \
    bridge-utils \
    tcpdump \
    docker.io

2. 自定义 Docker 网络创建

2.1 建立隔离网络空间

在双节点上分别创建独立桥接网络：

# Node1 创建自定义网络
docker network create --subnet 172.18.0.0/16 vxlan-net

# Node2 创建相同子网网络
docker network create --subnet 172.18.0.0/16 vxlan-net

2.2 容器部署验证

启动测试容器并验证基础连通性：

# Node1 启动容器
docker run -d --name app1 --network vxlan-net --ip 172.18.0.2 busybox ping 8.8.8.8

# Node2 启动容器  
docker run -d --name app2 --network vxlan-net --ip 172.18.0.3 busybox ping 8.8.8.8

# 验证同节点通信
docker exec app1 ping 172.18.0.1 -c 3  # 应能ping通网桥IP

3. VXLAN 隧道建立

3.1 创建 VXLAN 接口

在双节点上配置 VXLAN 虚拟接口：

# Node1 配置
ip link add vxlan_docker type vxlan \
    id 200 \
    dstport 4789 \
    remote 192.168.1.102 \
    local 192.168.1.101 \
    dev eth0

# Node2 配置
ip link add vxlan_docker type vxlan \
    id 200 \
    dstport 4789 \ 
    remote 192.168.1.101 \
    local 192.168.1.102 \
    dev eth0

关键参数说明：

• id ：VXLAN 网络标识符（VNI）
• dstport ：标准 VXLAN 端口号
• remote/local ：对端/本端隧道端点IP

3.2 接入 Linux 网桥

将 VXLAN 接口接入 Docker 网桥：

# 查找Docker网桥名称
bridge_name=$(docker network inspect vxlan-net -f '{{.Options."com.docker.network.bridge.name"}}')

# 将VXLAN接口接入网桥
brctl addif ${bridge_name} vxlan_docker

# 启用接口
ip link set vxlan_docker up

4. 连通性测试与排错

4.1 跨主机容器通信验证

# 在Node1的app1容器中测试
docker exec app1 ping 172.18.0.3 -c 4

# 预期成功输出示例
PING 172.18.0.3 (172.18.0.3): 56 data bytes
64 bytes from 172.18.0.3: seq=0 ttl=64 time=1.234 ms
64 bytes from 172.18.0.3: seq=1 ttl=64 time=0.987 ms

4.2 网络包分析

使用 tcpdump 抓取 VXLAN 封装流量：

# 在Node1上捕获VXLAN流量
tcpdump -i eth0 udp port 4789 -vv

# 典型输出示例
18:25:42.123456 IP 192.168.1.101.43412 > 192.168.1.102.4789: VXLAN, vni 200
    Ethernet 02:42:ac:12:00:02 > 02:42:ac:12:00:03, ethertype IPv4
    IP 172.18.0.2 > 172.18.0.3: ICMP echo request

4.3 常见问题排查

症状1 ：容器间无法 ping 通

• 检查项：

  # 验证VXLAN接口状态
  ip -d link show vxlan_docker
  
  # 检查FDB转发表
  bridge fdb show dev vxlan_docker
  

症状2 ：单向通信故障

• 解决方案：

  # 检查双向路由规则
  ip route show table all
  
  # 验证防火墙规则
  iptables -L -n -v | grep 4789
  

5. 高级配置与优化

5.1 多播模式配置（可选）

对于不支持单播的环境，可启用多播：

# 创建支持多播的VXLAN接口
ip link add vxlan_mcast type vxlan \
    id 200 \
    dstport 4789 \
    group 239.1.1.1 \
    dev eth0

5.2 MTU 优化建议

为避免分片，建议设置适当MTU：

# 设置VXLAN接口MTU
ip link set vxlan_docker mtu 1450

# 容器内生效需在docker daemon配置中添加：
--mtu=1450

5.3 持久化配置

Ubuntu系统可通过netplan实现配置持久化：

# /etc/netplan/60-vxlan.yaml
network:
  vlans:
    vxlan_docker:
      id: 200
      link: eth0
      remote: 192.168.1.102
      local: 192.168.1.101

6. 与传统方案的对比

特性	Docker Overlay 驱动	手动VXLAN方案
配置复杂度	低	中
网络可见性	有限	完全可控
性能开销	较高	可优化
多平台支持	是	需手动适配
排错便捷性	依赖Docker日志	直接访问底层

实际测试表明，手动配置的VXLAN方案在相同硬件条件下可获得约15-20%的吞吐量提升，主要得益于精简的封装处理和更直接的流量路径。