问题描述

LLaMa-Factory 的 llamafactory-cli webui 在多节点部署时，可能出现无法跨节点访问的问题。通常表现为 WebUI 仅在本地节点可访问，而其他节点无法通过 IP 或主机名访问服务。

解决方案

检查服务监听地址

默认情况下，WebUI 可能仅绑定到 127.0.0.1（本地回环地址）。需修改配置使其监听 0.0.0.0 以允许跨节点访问。

修改启动命令或配置文件，添加 --host 0.0.0.0 参数：

llamafactory-cli webui --host 0.0.0.0 --port 7860

防火墙配置

确保节点间的防火墙允许流量通过指定的端口（如 7860）。以下为常见操作：

Ubuntu/Debian:

sudo ufw allow 7860/tcp
sudo ufw reload

CentOS/RHEL:

sudo firewall-cmd --zone=public --add-port=7860/tcp --permanent
sudo firewall-cmd --reload

网络策略检查

• 确认节点间网络连通性（使用 ping 或 telnet 测试）。
• 如果部署在云环境（如 AWS、Azure），需检查安全组/网络 ACL 规则是否放行目标端口。

反向代理配置（可选）

若需通过域名或 HTTPS 访问，可通过 Nginx 配置反向代理。示例配置如下：

server {
    listen 80;
    server_name your-domain.com;

    location / {
        proxy_pass http://0.0.0.0:7860;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

多节点协作模式

如果涉及多节点分布式训练，需额外配置：

1. 确保主节点和工作节点的 MASTER_ADDR 和 MASTER_PORT 环境变量一致。
2. 检查 NCCL 或 Gloo 后端网络配置，避免端口冲突。

验证方法

在其他节点使用以下命令测试连通性：

curl http://<主节点IP>:7860

若返回 WebUI 的响应内容，则表明配置成功。