Qwen1.5-1.8B-Chat-GPTQ-Int4部署教程：Kubernetes Helm Chart封装与扩缩容配置

1. 环境准备与快速部署

在开始部署之前，我们先来了解一下这个模型的基本情况。Qwen1.5-1.8B-Chat-GPTQ-Int4是一个经过量化处理的语言模型，体积小巧但功能强大，特别适合在资源受限的环境中部署。

1.1 系统要求

确保你的Kubernetes集群满足以下基本要求：

• Kubernetes版本：1.20或更高
• 存储：至少10GB可用空间
• 内存：每个Pod至少4GB RAM
• GPU：可选，但推荐使用（显著提升推理速度）

1.2 安装Helm

如果你还没有安装Helm，可以通过以下命令快速安装：

# 下载Helm安装脚本
curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3

# 执行安装
chmod 700 get_helm.sh
./get_helm.sh

# 验证安装
helm version

2. Helm Chart封装详解

接下来我们创建一个完整的Helm Chart来部署Qwen模型服务。

2.1 创建Chart目录结构

# 创建Chart目录
mkdir qwen-chat-chart
cd qwen-chat-chart

# 创建标准目录结构
mkdir -p templates charts

2.2 编写Chart.yaml

创建Chart.yaml文件，定义Chart的基本信息：

apiVersion: v2
name: qwen-chat
description: 通义千问1.5-1.8B-Chat-GPTQ-Int4模型Kubernetes部署
type: application
version: 0.1.0
appVersion: "1.0"

2.3 配置values.yaml

创建主要的配置文件values.yaml：

# 镜像配置
image:
  repository: qwen1.5-1.8b-chat-gptq-int4
  tag: latest
  pullPolicy: IfNotPresent

# 服务配置
service:
  type: ClusterIP
  port: 8000
  targetPort: 8000

# 资源限制
resources:
  requests:
    memory: "4Gi"
    cpu: "2"
  limits:
    memory: "8Gi"
    cpu: "4"

# 自动扩缩容配置
autoscaling:
  enabled: true
  minReplicas: 1
  maxReplicas: 10
  targetCPUUtilizationPercentage: 80
  targetMemoryUtilizationPercentage: 80

# vLLM配置
vllm:
  model: "Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4"
  tensor_parallel_size: 1
  gpu_memory_utilization: 0.9
  max_model_len: 4096

# Chainlit前端配置
chainlit:
  enabled: true
  port: 7860

3. 模板文件编写

3.1 部署模板

创建templates/deployment.yaml：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Chart.Name }}
  labels:
    app: {{ .Chart.Name }}
spec:
  replicas: {{ .Values.replicaCount }}
  selector:
    matchLabels:
      app: {{ .Chart.Name }}
  template:
    metadata:
      labels:
        app: {{ .Chart.Name }}
    spec:
      containers:
      - name: qwen-server
        image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
        imagePullPolicy: {{ .Values.image.pullPolicy }}
        ports:
        - containerPort: {{ .Values.service.port }}
        - containerPort: {{ .Values.chainlit.port }}
        env:
        - name: MODEL_NAME
          value: {{ .Values.vllm.model | quote }}
        - name: TENSOR_PARALLEL_SIZE
          value: {{ .Values.vllm.tensor_parallel_size | quote }}
        resources:
          {{- toYaml .Values.resources | nindent 10 }}
        livenessProbe:
          httpGet:
            path: /health
            port: {{ .Values.service.port }}
          initialDelaySeconds: 60
          periodSeconds: 10
        readinessProbe:
          httpGet:
            path: /health
            port: {{ .Values.service.port }}
          initialDelaySeconds: 30
          periodSeconds: 5

3.2 服务模板

创建templates/service.yaml：

apiVersion: v1
kind: Service
metadata:
  name: {{ .Chart.Name }}-service
spec:
  type: {{ .Values.service.type }}
  ports:
  - port: {{ .Values.service.port }}
    targetPort: {{ .Values.service.targetPort }}
    protocol: TCP
    name: api
  - port: {{ .Values.chainlit.port }}
    targetPort: {{ .Values.chainlit.port }}
    protocol: TCP
    name: ui
  selector:
    app: {{ .Chart.Name }}

3.3 自动扩缩容配置

创建templates/hpa.yaml：

{{- if .Values.autoscaling.enabled }}
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: {{ .Chart.Name }}-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: {{ .Chart.Name }}
  minReplicas: {{ .Values.autoscaling.minReplicas }}
  maxReplicas: {{ .Values.autoscaling.maxReplicas }}
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: {{ .Values.autoscaling.targetCPUUtilizationPercentage }}
  - type: Resource
    resource:
      name: memory
      target:
        type: Utilization
        averageUtilization: {{ .Values.autoscaling.targetMemoryUtilizationPercentage }}
{{- end }}

4. 部署与验证

4.1 安装Chart

使用Helm安装我们创建的Chart：

# 安装Chart
helm install qwen-chat ./qwen-chat-chart

# 查看部署状态
kubectl get pods -l app=qwen-chat

# 查看服务
kubectl get svc qwen-chat-service

4.2 验证部署

部署完成后，可以通过以下方式验证服务是否正常运行：

# 查看Pod日志
kubectl logs -l app=qwen-chat --tail=50

# 检查服务健康状态
kubectl port-forward svc/qwen-chat-service 8000:8000
curl http://localhost:8000/health

4.3 访问Chainlit前端

如果Chainlit前端已启用，可以通过端口转发访问：

# 端口转发到本地
kubectl port-forward svc/qwen-chat-service 7860:7860

# 在浏览器中访问
# http://localhost:7860

5. 扩缩容策略优化

5.1 基于自定义指标的扩缩容

除了CPU和内存，我们还可以基于QPS（每秒查询数）等自定义指标进行扩缩容：

# 在values.yaml中添加自定义指标
autoscaling:
  customMetrics:
    - type: Pods
      pods:
        metric:
          name: qps
        target:
          type: AverageValue
          averageValue: 100

5.2 资源优化建议

根据实际使用情况调整资源限制：

resources:
  requests:
    memory: "2Gi"    # 可根据实际使用调整
    cpu: "1"         # 基础推理需求
  limits:
    memory: "4Gi"    # 防止内存泄漏
    cpu: "2"         # 突发流量处理

6. 监控与日志

6.1 添加监控配置

创建templates/service-monitor.yaml用于Prometheus监控：

{{- if .Values.monitoring.enabled }}
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: {{ .Chart.Name }}-monitor
spec:
  selector:
    matchLabels:
      app: {{ .Chart.Name }}
  endpoints:
  - port: api
    interval: 30s
    path: /metrics
{{- end }}

6.2 日志收集配置

确保应用日志能够被集群日志系统收集：

# 在deployment模板中添加日志配置
containers:
- name: qwen-server
  # ... 其他配置
  volumeMounts:
  - name: log-volume
    mountPath: /var/log/llm
volumes:
- name: log-volume
  emptyDir: {}

7. 常见问题解决

7.1 模型加载失败

如果模型加载失败，检查以下方面：

# 查看详细日志
kubectl logs <pod-name>

# 检查模型路径配置
kubectl exec -it <pod-name> -- ls -la /models

# 验证网络连接
kubectl exec -it <pod-name> -- curl -I https://huggingface.co

7.2 内存不足问题

如果出现内存不足，可以考虑：

# 调整vLLM配置降低内存使用
vllm:
  gpu_memory_utilization: 0.8  # 降低GPU内存使用率
  swap_space: 2  # 启用2GB交换空间

8. 总结

通过这个完整的Helm Chart部署方案，我们实现了Qwen1.5-1.8B-Chat-GPTQ-Int4模型在Kubernetes集群中的标准化部署。这个方案提供了：

• 一键部署：通过Helm简化复杂的部署流程
• 自动扩缩容：根据负载自动调整实例数量
• 资源优化：合理的资源请求和限制配置
• 监控集成：完善的监控和日志收集
• 高可用性：通过多个副本确保服务稳定性

这种部署方式不仅适用于Qwen模型，也可以作为其他大语言模型在Kubernetes上部署的参考模板。根据实际业务需求，你可以进一步调整资源配置、扩缩容策略和监控指标。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。