打开 命令提示符(CMD):

wmic cpu get Name, Caption, Manufacturer, MaxClockSpeed, NumberOfCores, NumberOfLogicalProcessors

像 llama.cpp 的预编译二进制通常有多个版本:

  • avx
  • avx2
  • avx512
  • native

选择最高支持但不超出你 CPU 能力的版本,才能获得最佳性能。
例如:如果你的 CPU 支持 AVX2,就不要用仅 AVX 的版本(慢),也不要强行用 AVX512(会崩溃)。
 

CPU 年代 通常支持的指令集
Intel 2011 年后 / AMD 2011 年后 SSE4.2
Intel Haswell (2013) / AMD Zen (2017) AVX2
Intel Skylake-X (2017+) / AMD Zen4 (2022+) AVX512(部分型号)

绝大多数现代 Windows PC(2015 年后)都支持 AVX2

指令集支持情况(针对 Intel Core i5-12400

这款 CPU 属于 Intel 第 12 代 Alder Lake 架构,支持以下关键指令集

指令集 是否支持 说明
SSE4.1 / SSE4.2 ✅ 是 所有现代 x86_64 CPU 都支持
AVX ✅ 是 从 Sandy Bridge (2011) 开始支持
AVX2 ✅ 是 从 Haswell (2013) 开始支持,i5-12400 完全支持
FMA3 ✅ 是 与 AVX2 同期引入
AVX-512 ❌ 否 Intel 在 12 代桌面 CPU 中禁用了 AVX-512(即使硬件有部分单元,也通过微码屏蔽)
AMX ❌ 否 仅在至强(Xeon)或 13/14 代高端型号中提供

根据 Intel ARK - Core i5-12400明确列出支持 AVX2,但不支持 AVX-512

对运行 LLaMA / llama.cpp 的建议

你应该选择 AVX2 优化版本 的二进制文件,例如:

  • llama-bXXXX-bin-win-x64-avx2.zip
  • 或构建时启用 -DLLAMA_AVX2=ON(如果你自己编译)

⚠️ 不要使用:

  • cudart-llama-bin-win-cuda-*.zip(需要 NVIDIA GPU)
  • avx512 版本(你的 CPU 不支持,会崩溃)
  • 仅 sse4 或 basic 版本(性能损失 30%~50%)

Releases · ggml-org/llama.cpp

你的环境回顾

  • 操作系统:Windows(x64)
  • CPU:Intel Core i5-12400(支持 AVX2,不支持 AVX-512
  • GPU没有 NVIDIA 显卡(只有 Intel 核显 UHD 730)

✅ 结论先行:你应该选择 “Windows x64 (CPU)” 版本。

版本名称 适用硬件 依赖项 是否适合你
Windows x64 (CPU) 任何 Windows x64 电脑(仅用 CPU) 无(纯 CPU,通常用 OpenBLAS / Accelerate) ✅ 最适合你!
Windows arm64 (CPU) Windows on ARM(如 Surface Pro X、骁龙本) ❌ 你是 x64,不是 ARM
Windows x64 (CUDA 12) Windows + NVIDIA GPU(计算能力 ≥ 5.0) 需要安装 CUDA 12.4 驱动 & 运行时 ❌ 你没有 NVIDIA GPU
Windows x64 (CUDA 13) Windows + 较新 NVIDIA GPU(如 RTX 40 系列) 需要 CUDA 13.1 ❌ 同上
Windows x64 (Vulkan) Windows + 任何支持 Vulkan 的 GPU(包括 Intel 核显、AMD、NVIDIA) 需要 Vulkan 驱动(Intel 核显一般支持) ⚠️ 可尝试,但性能不一定比 CPU 好
Windows x64 (SYCL) 主要用于 Intel Arc 独立显卡 或 集成 GPU(需 oneAPI) 需要 Intel oneAPI / DPC++ ❌ 不推荐(配置复杂,i5-12400 的 UHD 730 支持有限)
Windows x64 (HIP) AMD GPU(类似 CUDA 的 AMD 技术) 需要 AMD ROCm 驱动(Windows 支持差) ❌ 完全不适用

1. Windows x64 (CPU)
  • 使用 CPU 多线程 + 指令集优化(如 AVX2) 进行推理。
  • 启动快、兼容性好、无需额外驱动。
  • 对于 i5-12400(6核12线程),运行 7B 模型完全可行(约 2~8 token/s,取决于量化方式)。
  • ✅ 这是你的最佳选择。

如何确认 CPU 版是否用了 AVX2?

解压后运行:

.\main.exe --help

如果输出中包含:

AVX = 1 | AVX2 = 1 | AVX512 = 0

说明它正确启用了 AVX2,正在发挥你 CPU 的全部性能!

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐