【用Deepseek搭建免费的个人知识库–综合教程(完整版)】番外篇:GGUF量化模型导入到Ollama中运行。Ollama运行本地自定义模型。

备注:文中所提搭建的Deepseek大模型是本地部署,离线部署。

希望在Ollama中运行特定的【deepseek-r1】模型

由于Ollama run 模型名字 命令下载速度实在是太慢了。我们需要通过其它途径下载模型。同时,最大的模型库还是在hugging face上,更多功能的大模型可以在上面找到,所以需要在网上下载好GGUF或者safetensors的文件模型导入到Ollama上面来运行。

如果需要在Ollama上运行定制模型也可以用文中的方法

Ollama配置或导入本地模型的方法:

假设
新下载好的量化模型 newModel.gguf 放在 E:/new_models 文件夹内, 那么我们在当前文件夹新建一个Txt文件,输入内容:

From ./newModel.gguf

保存文件内容。然后将新建的Txt文件更名为ModelFile,注意这里不需要扩展名。

这个时候打开命令行工具,输入:

Ollama create new_Model_new_Name -f ModelFile
#注解:new_Model_new_Name是你定义的新模型名字。 ModelFile则是刚刚新建的txt文件更名过来的。记得,别漏了中间的 -f

#注解:new_Model_new_Name是你定义的新模型名字。 ModelFile则是刚刚新建的txt文件更名过来的。记得,别漏了中间的 -f 这个参数。

等待完成:

gathering model components
copying file sha256:b4958e23af161bf01cd942a8f9c2 100%
parsing GGUF
writing manifest
success

然后你可以用Ollama list命令来进行查看新的模型。

部署随时随地都可以访问自己的大模型,支持手机和siri助手。

tag:本地部署Deepseek,离线部署Deepseek。

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐