【用Deepseek搭建免费的个人知识库–综合教程(完整版)】番外篇:GGUF量化模型导入到Ollama中运行。Ollama运行本地自定义模型。
·
【用Deepseek搭建免费的个人知识库–综合教程(完整版)】番外篇:GGUF量化模型导入到Ollama中运行。Ollama运行本地自定义模型。
备注:文中所提搭建的Deepseek大模型是本地部署,离线部署。
希望在Ollama中运行特定的【deepseek-r1】模型
由于Ollama run 模型名字 命令下载速度实在是太慢了。我们需要通过其它途径下载模型。同时,最大的模型库还是在hugging face上,更多功能的大模型可以在上面找到,所以需要在网上下载好GGUF或者safetensors的文件模型导入到Ollama上面来运行。
如果需要在Ollama上运行定制模型也可以用文中的方法
Ollama配置或导入本地模型的方法:
假设
新下载好的量化模型 newModel.gguf 放在 E:/new_models 文件夹内, 那么我们在当前文件夹新建一个Txt文件,输入内容:
From ./newModel.gguf
保存文件内容。然后将新建的Txt文件更名为ModelFile,注意这里不需要扩展名。
这个时候打开命令行工具,输入:
Ollama create new_Model_new_Name -f ModelFile
#注解:new_Model_new_Name是你定义的新模型名字。 ModelFile则是刚刚新建的txt文件更名过来的。记得,别漏了中间的 -f
#注解:new_Model_new_Name是你定义的新模型名字。 ModelFile则是刚刚新建的txt文件更名过来的。记得,别漏了中间的 -f 这个参数。
等待完成:
gathering model components
copying file sha256:b4958e23af161bf01cd942a8f9c2 100%
parsing GGUF
writing manifest
success
然后你可以用Ollama list命令来进行查看新的模型。
部署随时随地都可以访问自己的大模型,支持手机和siri助手。
tag:本地部署Deepseek,离线部署Deepseek。
更多推荐



所有评论(0)