Qwen3-0.6B-FP8部署教程：Kubernetes Helm Chart部署vLLM服务与Chainlit Ingress配置

1. 开篇：为什么选择这个方案？

如果你正在寻找一个既高效又易于管理的轻量级大语言模型部署方案，那么你来对地方了。今天要聊的，是把Qwen3-0.6B-FP8这个“小身材、大能量”的模型，通过vLLM推理引擎部署到Kubernetes集群，再用Chainlit给它配上一个漂亮的聊天界面，最后通过Ingress让全世界都能访问。

听起来有点复杂？别担心，我会用最直白的方式，带你一步步走完整个流程。你不需要是Kubernetes专家，也不需要精通Helm，只要跟着做，就能在半小时内拥有一个属于自己的AI对话服务。

这个方案有几个实实在在的好处：

• 资源占用少：Qwen3-0.6B-FP8是量化后的模型，内存需求大幅降低，成本友好
• 推理速度快：vLLM的PagedAttention技术，让文本生成又快又稳
• 管理方便：Helm一键部署，升级回滚都简单
• 界面友好：Chainlit提供了开箱即用的Web界面，比命令行舒服多了
• 易于访问：配置Ingress后，用浏览器就能直接聊天

准备好了吗？咱们开始吧。

2. 准备工作：环境与工具检查

在动手之前，先确认一下你的“工具箱”里有没有这些必备品。如果还没有，我会告诉你怎么装。

2.1 基础环境要求

首先，你需要一个Kubernetes集群。这可以是：

• 本地搭建的Minikube或Kind（适合测试学习）
• 云服务商的托管K8s集群（如阿里云ACK、腾讯云TKE）
• 自己用kubeadm搭建的生产集群

集群的配置建议：

• 至少2个CPU核心
• 至少4GB可用内存（模型本身约0.6GB，加上系统开销）
• 有可用的StorageClass用于持久化存储（如果模型文件较大）

怎么检查你的集群状态？打开终端，运行：

kubectl get nodes

你应该能看到至少一个节点是“Ready”状态。

2.2 必要工具安装

接下来，确保你安装了这些命令行工具：

1. kubectl - Kubernetes命令行工具

# 检查是否已安装
kubectl version --client

2. Helm - Kubernetes包管理器

# 检查Helm版本
helm version

# 如果还没装，用这个命令安装（Linux/macOS）
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

3. Docker（可选，用于构建自定义镜像）

docker --version

2.3 模型文件准备

Qwen3-0.6B-FP8的模型文件需要提前准备好。你有两个选择：

选项A：使用预下载的模型 如果你已经有模型文件（通常是.safetensors或.bin格式），可以创建一个PVC（持久卷声明）挂载到容器中。

选项B：运行时下载 更简单的方法是让容器启动时自动下载。vLLM支持从Hugging Face Hub直接拉取模型。

我们这次用选项B，因为最省事。只需要知道模型在Hugging Face上的路径：Qwen/Qwen3-0.6B-FP8。

3. 核心部署：用Helm安装vLLM服务

现在进入正题，我们要在Kubernetes里部署vLLM服务。Helm会让这个过程变得异常简单。

3.1 添加vLLM的Helm仓库

首先，把vLLM的官方Helm仓库加到你的Helm里：

helm repo add vllm https://vllm.ai/charts
helm repo update

这个命令做了两件事：

1. 添加了一个叫“vllm”的仓库源
2. 更新本地仓库缓存，确保能拿到最新版本

检查一下是否添加成功：

helm search repo vllm

你应该能看到vllm/vllm这个chart。

3.2 创建配置文件

我们不直接使用默认配置，而是创建一个自定义的配置文件。新建一个文件叫values.yaml，内容如下：

# values.yaml
image:
  repository: vllm/vllm
  tag: latest

model: Qwen/Qwen3-0.6B-FP8

resources:
  limits:
    memory: "2Gi"
    cpu: "1"
  requests:
    memory: "1Gi"
    cpu: "0.5"

service:
  type: ClusterIP
  port: 8000

extraArgs:
  - "--tensor-parallel-size=1"
  - "--gpu-memory-utilization=0.9"
  - "--max-model-len=4096"

我来解释一下这些配置的意思：

• image：指定使用vLLM的官方镜像
• model：告诉vLLM要加载哪个模型（从Hugging Face下载）
• resources：限制容器的资源使用，避免把集群搞垮
• service：创建一个ClusterIP类型的服务，端口8000
• extraArgs：一些额外的vLLM参数，比如最大生成长度

3.3 执行Helm安装

配置文件准备好了，现在可以安装了：

helm install qwen3-vllm vllm/vllm -f values.yaml

这个命令的意思是：

• helm install：安装一个Helm release
• qwen3-vllm：给你的这个部署起个名字
• vllm/vllm：从vllm仓库安装vllm这个chart
• -f values.yaml：使用我们刚才创建的配置文件

安装完成后，检查一下状态：

# 查看Pod是否在运行
kubectl get pods -l app.kubernetes.io/instance=qwen3-vllm

# 查看服务
kubectl get svc -l app.kubernetes.io/instance=qwen3-vllm

如果看到Pod状态是“Running”，服务也创建成功了，那第一步就完成了。

3.4 验证vLLM服务

等Pod完全启动后（可能需要几分钟下载模型），我们可以验证一下服务是否正常：

# 获取Pod名称
POD_NAME=$(kubectl get pods -l app.kubernetes.io/instance=qwen3-vllm -o jsonpath='{.items[0].metadata.name}')

# 查看日志，确认模型加载成功
kubectl logs $POD_NAME

在日志里，你应该能看到类似这样的信息：

Loading model weights...
Model loaded successfully.
Starting vLLM engine...
vLLM API server running on http://0.0.0.0:8000

如果看到“Model loaded successfully”，恭喜你，vLLM服务已经跑起来了！

4. 前端界面：部署Chainlit应用

有了后端的vLLM服务，现在我们需要一个好看的前端界面。Chainlit是一个专门为AI应用设计的聊天界面框架，配置简单，效果漂亮。

4.1 创建Chainlit配置文件

Chainlit需要一个配置文件来定义如何连接后端的vLLM服务。创建一个文件叫chainlit-config.yaml：

# chainlit-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: chainlit-config
data:
  chainlit.md: |
    # Welcome to Qwen3 Chat!
    
    This is a chat interface for Qwen3-0.6B-FP8 model.
    
    You can ask me anything!
    
  .chainlit:
    config.toml: |
      [project]
      name = "Qwen3 Chat"
      
      [UI]
      name = "Qwen3 Assistant"
      
      [model]
      provider = "openai"
      model = "qwen3"
      api_base = "http://qwen3-vllm-vllm:8000/v1"
      api_key = "not-needed"
      temperature = 0.7
      max_tokens = 512

这个配置文件做了几件事：

1. 创建了一个欢迎页面（chainlit.md）
2. 设置了Chainlit的基本配置
3. 最重要的是：告诉Chainlit后端API在哪里（api_base指向我们的vLLM服务）

注意api_base的地址：http://qwen3-vllm-vllm:8000/v1。这里用的是Kubernetes内部的服务发现：

• qwen3-vllm-vllm：服务名称（格式是<release-name>-<chart-name>）
• 8000：vLLM服务的端口
• /v1：vLLM的OpenAI兼容API路径

4.2 创建Chainlit的Deployment

现在创建Chainlit应用的Kubernetes部署文件。新建chainlit-deployment.yaml：

# chainlit-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: chainlit-app
  labels:
    app: chainlit
spec:
  replicas: 1
  selector:
    matchLabels:
      app: chainlit
  template:
    metadata:
      labels:
        app: chainlit
    spec:
      containers:
      - name: chainlit
        image: chainlit/chainlit:latest
        ports:
        - containerPort: 8000
        volumeMounts:
        - name: config
          mountPath: /app
        command: ["chainlit", "run", "app.py", "--port", "8000", "--host", "0.0.0.0"]
        env:
        - name: CHAINLIT_CONFIG
          value: "/app/.chainlit/config.toml"
        resources:
          requests:
            memory: "256Mi"
            cpu: "0.1"
          limits:
            memory: "512Mi"
            cpu: "0.5"
      volumes:
      - name: config
        configMap:
          name: chainlit-config
---
apiVersion: v1
kind: Service
metadata:
  name: chainlit-service
spec:
  selector:
    app: chainlit
  ports:
  - port: 80
    targetPort: 8000
  type: ClusterIP

这个配置的关键点：

1. 使用官方的Chainlit镜像
2. 把刚才的ConfigMap挂载到容器里
3. 设置环境变量告诉Chainlit配置文件在哪
4. 创建一个Service暴露Chainlit的端口

4.3 部署Chainlit

应用这两个配置：

# 创建ConfigMap
kubectl apply -f chainlit-config.yaml

# 创建Deployment和Service
kubectl apply -f chainlit-deployment.yaml

检查部署状态：

kubectl get pods -l app=chainlit
kubectl get svc chainlit-service

等Pod状态变成“Running”，Chainlit前端就部署好了。

5. 外部访问：配置Ingress路由

现在我们有：

• vLLM后端服务（端口8000，内部访问）
• Chainlit前端服务（端口80，内部访问）

但还只能在集群内部访问。要让外部用户能通过浏览器访问，需要配置Ingress。

5.1 安装Ingress Controller

如果你的集群还没有Ingress Controller，需要先安装一个。这里以Nginx Ingress为例：

# 添加Ingress Nginx的Helm仓库
helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update

# 安装Ingress Nginx
helm install ingress-nginx ingress-nginx/ingress-nginx \
  --namespace ingress-nginx \
  --create-namespace \
  --set controller.service.type=LoadBalancer

安装完成后，获取外部IP：

kubectl get svc -n ingress-nginx ingress-nginx-controller

你会看到一个EXTERNAL-IP，这就是外部访问的入口。

5.2 创建Ingress规则

现在创建Ingress规则，把外部流量路由到我们的Chainlit服务。新建ingress.yaml：

# ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: qwen3-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host: qwen3.yourdomain.com  # 改成你的域名
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: chainlit-service
            port:
              number: 80

如果你没有域名，可以用IP直接访问，配置稍微不同：

# ingress-ip.yaml（没有域名时用这个）
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: qwen3-ingress-ip
spec:
  ingressClassName: nginx
  rules:
  - http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: chainlit-service
            port:
              number: 80

应用Ingress配置：

kubectl apply -f ingress.yaml

5.3 测试访问

现在打开浏览器，访问你的域名（或Ingress Controller的IP地址）。你应该能看到Chainlit的聊天界面。

如果看到欢迎页面但无法聊天，可能是Chainlit还没连接到vLLM。检查Chainlit的日志：

kubectl logs deployment/chainlit-app

确保日志中没有连接错误。

6. 完整测试：从部署到聊天

让我们从头到尾测试一遍整个流程，确保每个环节都正常工作。

6.1 检查所有组件

首先，确认所有Pod都在运行：

kubectl get pods

你应该看到至少3个Pod：

1. vLLM的Pod（名字类似qwen3-vllm-vllm-xxxxx）
2. Chainlit的Pod（chainlit-app-xxxxx）
3. Ingress Controller的Pod（ingress-nginx-controller-xxxxx）

状态都应该是“Running”。

6.2 验证服务连通性

在集群内部测试vLLM服务是否响应：

# 临时创建一个测试Pod
kubectl run test-pod --image=curlimages/curl --rm -it --restart=Never -- sh

# 在测试Pod里访问vLLM
curl http://qwen3-vllm-vllm:8000/v1/models

# 应该返回类似这样的信息：
# {"object":"list","data":[{"id":"Qwen/Qwen3-0.6B-FP8","object":"model"}]}

如果能看到模型信息，说明vLLM API正常。

6.3 通过Chainlit聊天

现在通过浏览器访问Chainlit界面，问几个问题测试：

1. 简单问候：“你好，介绍一下你自己”
2. 知识问答：“太阳系有多少颗行星？”
3. 创意写作：“写一个关于AI的短故事”

观察回复的速度和质量。Qwen3-0.6B-FP8虽然是个小模型，但回答一般问题还是不错的。

6.4 常见问题排查

如果遇到问题，按这个顺序检查：

问题1：Chainlit无法连接vLLM

# 查看Chainlit日志
kubectl logs deployment/chainlit-app

# 常见错误：连接超时或拒绝
# 解决方案：检查vLLM服务名称和端口是否正确

问题2：模型加载失败

# 查看vLLM日志
kubectl logs deployment/qwen3-vllm-vllm

# 常见错误：下载模型失败（网络问题）
# 解决方案：确保集群能访问外网，或提前下载模型到镜像

问题3：Ingress无法访问

# 检查Ingress状态
kubectl get ingress

# 检查Ingress Controller日志
kubectl logs -n ingress-nginx deployment/ingress-nginx-controller

7. 进阶配置与优化

基础部署完成后，你可能还想做一些优化。这里有几个实用的进阶配置。

7.1 模型预热与缓存

vLLM支持模型预热，可以在服务启动时提前加载模型，减少第一个请求的延迟。修改values.yaml：

# 在extraArgs中添加预热参数
extraArgs:
  - "--tensor-parallel-size=1"
  - "--gpu-memory-utilization=0.9"
  - "--max-model-len=4096"
  - "--disable-log-requests"  # 关闭请求日志，提升性能
  - "--enforce-eager"  # 强制使用eager模式，兼容性更好

7.2 资源监控

添加资源监控，了解服务运行状态：

# 在vLLM的Deployment中添加监控端点
extraEnv:
  - name: VLLM_METRICS_PORT
    value: "8080"

然后配置Prometheus采集指标：

# prometheus-service-monitor.yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: vllm-monitor
spec:
  selector:
    matchLabels:
      app.kubernetes.io/instance: qwen3-vllm
  endpoints:
  - port: metrics
    interval: 30s

7.3 自动扩缩容

根据负载自动调整副本数。创建HPA（Horizontal Pod Autoscaler）：

# hpa.yaml
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: vllm-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: qwen3-vllm-vllm
  minReplicas: 1
  maxReplicas: 3
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 70

应用配置：

kubectl apply -f hpa.yaml

这样当CPU使用率超过70%时，会自动增加副本。

7.4 使用GPU加速

如果你的集群有GPU，可以大幅提升推理速度。修改vLLM的资源请求：

# values-gpu.yaml
resources:
  limits:
    memory: "4Gi"
    cpu: "2"
    nvidia.com/gpu: 1  # 请求1个GPU
  requests:
    memory: "2Gi"
    cpu: "1"
    nvidia.com/gpu: 1

# 添加GPU相关参数
extraArgs:
  - "--tensor-parallel-size=1"
  - "--gpu-memory-utilization=0.9"
  - "--max-model-len=4096"
  - "--dtype=half"  # 使用半精度，减少显存占用

然后重新部署：

helm upgrade qwen3-vllm vllm/vllm -f values-gpu.yaml

8. 日常维护与管理

服务部署好了，日常怎么维护呢？这里有几个常用命令和技巧。

8.1 查看服务状态

# 查看所有相关资源
kubectl get all -l app.kubernetes.io/instance=qwen3-vllm

# 查看Chainlit相关资源
kubectl get all -l app=chainlit

# 查看Ingress
kubectl get ingress

8.2 查看日志

# 查看vLLM日志（实时）
kubectl logs -f deployment/qwen3-vllm-vllm

# 查看Chainlit日志
kubectl logs -f deployment/chainlit-app

# 查看特定时间段的日志
kubectl logs deployment/qwen3-vllm-vllm --since=1h

8.3 升级与回滚

升级vLLM版本：

# 先更新Helm仓库
helm repo update

# 查看可用版本
helm search repo vllm/vllm -l

# 升级到指定版本
helm upgrade qwen3-vllm vllm/vllm --version=0.1.0 -f values.yaml

回滚到之前版本：

# 查看发布历史
helm history qwen3-vllm

# 回滚到特定版本
helm rollback qwen3-vllm 1

8.4 清理资源

如果不再需要这个服务，可以完全清理：

# 删除Helm release
helm uninstall qwen3-vllm

# 删除Chainlit相关资源
kubectl delete -f chainlit-deployment.yaml
kubectl delete configmap chainlit-config

# 删除Ingress
kubectl delete -f ingress.yaml

# 确认所有资源已删除
kubectl get all -l app.kubernetes.io/instance=qwen3-vllm

9. 总结回顾

让我们回顾一下今天完成的工作：

9.1 我们做了什么？

1. 准备了Kubernetes环境，确保有可用的集群和必要的工具
2. 用Helm部署了vLLM服务，加载了Qwen3-0.6B-FP8模型
3. 部署了Chainlit前端，提供了友好的聊天界面
4. 配置了Ingress路由，让外部用户可以通过浏览器访问
5. 进行了完整测试，确保从部署到聊天的全流程畅通
6. 探讨了进阶配置，包括监控、扩缩容和GPU加速
7. 学习了日常维护命令，方便后续管理

9.2 这个方案的优势

• 部署简单：Helm一键部署，省去大量手动配置
• 资源友好：FP8量化模型，内存占用小，成本低
• 性能不错：vLLM优化了推理速度，响应快
• 易于扩展：Kubernetes架构，方便水平扩展
• 维护方便：标准化的K8s资源，管理工具成熟

9.3 可能的改进方向

如果你还想进一步优化：

1. 安全性：添加HTTPS证书、API密钥认证
2. 监控告警：集成Prometheus+Grafana，设置资源告警
3. 日志收集：使用EFK或Loki收集和分析日志
4. 多模型支持：部署多个模型，根据请求动态选择
5. 流量管理：使用Istio进行更精细的流量控制

9.4 最后的小建议

对于生产环境，我建议：

• 使用私有镜像仓库，避免从Docker Hub拉取镜像的不稳定性
• 配置资源限制和请求，避免服务相互影响
• 定期备份重要的配置和模型文件
• 设置监控告警，及时发现和处理问题

现在，你的Qwen3-0.6B-FP8聊天服务已经正式上线了！用户可以通过浏览器访问，和你部署的AI模型对话。虽然模型不大，但应付一般的问答、聊天、写作需求足够了。

最重要的是，你掌握了一套完整的AI服务部署方案。这套方案不仅适用于Qwen3，稍作修改就能部署其他模型。希望这个教程对你有帮助，如果在实践中遇到问题，欢迎交流讨论。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。