Ollama系列教程

课程资源来自Datawhale开源课程💻 动手学 Ollama 🦙

02 Ollama导入模型

2.1 从GGUF格式文件导入

从gguf格式文件导入模型需要先下载，一个常用的下载地址是知名的[hugging face](Models - Hugging Face)

通过下载得到的GGUF文件，可直接通过Ollama命令创建模型

❗️此处需要注意：需要创建一个Modelfile的文件，文件内容为

FROM ./Qwen2-0.5B.Q3_K_M.gguf

2.2 从模型直接导入

这里有必要区分一下GGUF文件和模型文件的区别：

• GGUF文件是经过处理后的模型文件，用于高效部署和运行量化后的模型
• 模型文件一般值通过pytorch或tensorflow等神经网络训练框架训练得到的原始模型
• GGUF文件通常会经过量化和序列化等操作，从而比原模型文件更小，更适合进行部署

从模型导入方法需要对下载得到的原始模型进行转换，转换为GGUF文件从而方便Ollama使用第一种方法导入

在创建模型时，可以对模型进行量化以加速模型推理，可以通过-q来指定量化形式

其中Q4指的是4比特量化，_K是现代优化的量化方式，_M指的是K量化方式的中等程度量化

2.3 进行初始设置再导入

通过修改Modelfile，可以对模型进行一些设置，如温度，输出长度等参数，也可以通过设置一些Prompt来使模型变成我们想要的样子。编写好Modelfile后重新创建即可得到一个自定义的模型。