本地搭建大模型记录
·
一、先手动安装 Ollama(必做)
-
打开浏览器,直接访问官网下载:🔗 https://ollama.com/download/windows
一键开启 Intel 核显加速(你的 Ultra7 专用)
打开 PowerShell(直接左下角搜索 PowerShell,打开就行)复制粘贴下面这一行,回车:
powershell
[Environment]::SetEnvironmentVariable("OLLAMA_GPU", "1", "Machine")
[Environment]::SetEnvironmentVariable("OLLAMA_CPU_THREADS", "20", "Machine")
[Environment]::SetEnvironmentVariable("OLLAMA_MEMORY_BUDGET", "68719476736", "Machine")
然后重启 Ollama 服务:
powershell
Stop-Service ollama
Start-Service ollama
开启失败
powershell
# 启用 Intel 核显加速(Ultra 系列专用)
[Environment]::SetEnvironmentVariable("OLLAMA_NUM_GPU", "999", "Machine")
[Environment]::SetEnvironmentVariable("OLLAMA_GPU", "1", "Machine")
# CPU 线程(Ultra7 265 共 20 线程)
[Environment]::SetEnvironmentVariable("OLLAMA_CPU_THREADS", "20", "Machine")
# 内存预算(64GB 给 56GB,留 8GB 给系统)
[Environment]::SetEnvironmentVariable("OLLAMA_MEMORY_BUDGET", "60129542144", "Machine")
# 上下文窗口(16K,重度长文本)
[Environment]::SetEnvironmentVariable("OLLAMA_NUM_CTX", "16384", "Machine")
# Intel 核显优化
[Environment]::SetEnvironmentVariable("ZES_ENABLE_SYSMAN", "1", "Machine")
[Environment]::SetEnvironmentVariable("SYCL_CACHE_PERSISTENT", "1", "Machine")
依然失败
不用改系统设置,只给 Ollama 自身加配置,完全不报错,速度一样快!
1. 打开 Ollama 配置目录
按 Win + R,复制粘贴下面路径,回车:
plaintext
%userprofile%\.ollama
2. 新建配置文件
在打开的文件夹里,右键 → 新建 → 文本文档,重命名为:
plaintext
ollama.conf
(一定要把后缀 .txt 删掉,变成 ollama.conf)
3. 复制下面内容,粘贴进去保存
ini
gpu = true
cpu_threads = 20
num_gpu_layers = 99
memory_budget = "56GiB"
num_ctx = 32768
4. 重启 Ollama(一行命令)
打开 普通 PowerShell(不用管理员),运行:
powershell
ollama stop --all; ollama serve
✅ 加速完成!
安装成功
# 直接启动 Ollama 客户端(带界面)不是服务端
start ollama
# 查看 Ollama 状态
ollama ps
# 如果没运行,启动服务
ollama serve
退出对话
/bye
清空历史对话(重新开始)
/clear
查看模型信息
/info
想换一个更快的模型(7B 秒回)
先退出,然后运行:
ollama run qwen2.5:7b-instruct-q4_K_M
ollama run deepseek-r1:7b
ollama run qwen2.5:14b-instruct-q4_K_M
更多推荐

所有评论(0)