OpenAI GPT-OSS 本地部署教程（Linux适配）

一、环境准备

系统要求：

• Ubuntu 20.04+ 或 CentOS 8+
• Python 3.8+
• 推荐硬件：16GB+ RAM，NVIDIA GPU（支持CUDA 11.0+）

# 通用依赖安装
sudo apt update  # Ubuntu
sudo yum update  # CentOS
sudo apt install -y python3-pip git build-essential  # Ubuntu
sudo yum install -y python3-pip git gcc-c++  # CentOS

二、虚拟环境配置

python3 -m venv gpt-env
source gpt-env/bin/activate
pip install --upgrade pip

三、模型部署（以GPT-NeoX为例）

1. 安装核心库：

pip install torch transformers accelerate

1. 下载模型权重：

git clone https://github.com/EleutherAI/gpt-neox
wget https://huggingface.co/EleutherAI/gpt-neox-20b/resolve/main/pytorch_model.bin

1. 推理脚本（inference.py）：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("./gpt-neox")
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neox-20b")

input_text = "人工智能的未来发展"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0]))

四、系统适配方案

组件	Ubuntu方案	CentOS方案
CUDA支持	sudo apt install nvidia-cuda-toolkit	需手动安装NVIDIA驱动
内存优化	使用swapfile扩展虚拟内存：<br>sudo fallocate -l 8G /swapfile	调整vm.swappiness参数：<br>sysctl vm.swappiness=10
依赖冲突	优先使用apt安装系统级库	通过yum groupinstall "Development Tools"

五、启动服务

# 后台运行（带日志记录）
nohup python inference.py > output.log 2>&1 &

# 验证服务
tail -f output.log

六、性能优化技巧

1. 量化加速（减少显存占用）：

model = GPTNeoXForCausalLM.from_pretrained("./gpt-neox", torch_dtype=torch.float16)

1. 批处理优化：

# 在generate函数中启用
outputs = model.generate(..., batch_size=4)

1. 内存监控：

watch -n 1 "free -h && nvidia-smi"

注意：

1. 首次运行需下载约40GB模型文件，确保磁盘空间充足
2. 若遇CUDA错误，检查驱动兼容性：nvidia-smi显示的CUDA版本需≥11.0
3. 推荐使用Docker容器化部署避免环境冲突