Ollama在macOS上修改models的存储位置
Ollama在macOS上修改models的存储位置
随着大语言模型的兴起&近几年的发展,我们已经可以在个人计算机上运行一些规模较小的模型,例如最近meta很火的llama3.1以及google的gemma等,我自己也在本人的macbook(M2 pro芯片)上简单体验了一下,效果还可以,同时也遇到了一些问题,写在下面:
写在开始:本文参考了网络上其他平台的一些文章,如在阅读时发现相近处,可能是小白编者也参考过相同的文章,大佬见谅🥹
Q1:存储空间问题
本人的MacBook pro并非十分高配的那种(16GB内存+512GB硬盘),因此适合运行的model大部分参数规模不会超过13B,以我现在安装的两个模型为例:
| name | size | 参数规模 |
|---|---|---|
| gemma2:9b | 5.4 GB | 9B |
| llama3.1 | 4.7 GB | 8B |
足以看出,如果多装几个模型的话很容易便产生了几十G的空间需求,对于我512GB的总空间显然是一笔不容小觑的空间开销,而刚好手头又有闲置的一些移动存储设备如朋友送的U盘,于是便自然有了将Ollama的模型存储位置修改的打算.
Q2: 模型文件本身的移动
容易解决的是直接将models文件夹移动到我的U盘当中即可,在macOS下,我的模型文件的存储路径是这样的:
~/.ollama/models
所以移动模型文件很简单,把这个models文件夹直接拖到我想要存储的移动存储设备(如U盘)即可。或者也可以使用终端命令mv来进行移动,本人是直接拖动到U盘中然后直接删除掉了电脑上的原有models文件夹
Q3 : 模型寻找路径的重新修正
移动完了文件之后我们很容易就能意识到,此时我只是修改了模型的存储路径,却并没有告诉Ollama该去哪里寻找这个新的路径,然而在网上寻找到的大部分教程都只讲了如何在Windows或Linux系统下进行。所以只好在官网介绍中去寻找macOS有关的部分:参看这里
链接地址https://github.com/ollama/ollama/blob/main/docs/faq.md
截图如下:
从这段文字中我们能够看出来如何在macOS的环境下设置环境变量(environment variables),使用launchctl setenv命令即可。
于是我们得到下面的具体解决方法:
在移动完models文件夹之后,通过设置环境变量的方法来让ollama能够找到models的存储位置
运行以下命令在终端中:
launchctl setenv OLLAMA_MODELS "此处填写你想要设置的路径(models存储的新路径)"
//btw:其实也可以先设置好路径再移动models,这些工作也都可以用终端命令完成,不过我个人感觉影响不大。但是保险起见,可以先不急着删除models文件夹,或者做好备份,在确定一切正常以后再把电脑本机上的模型删除就可以了。
写在最后
本文主要是作者自己使用Mac时遇到和解决了一个问题之后所作,希望能够帮助到后来其他面临着相同问题的朋友。作者本人也是技术菜鸟,欢迎大佬指点,也欢迎其他朋友私信交流学习。
更多推荐




所有评论(0)