Cogito-v1-preview-llama-3B快速部署:Windows WSL2环境下Ollama实操步骤

想体验一个在编码、数学和通用对话上都表现不俗的小尺寸模型吗?今天我们来聊聊Cogito-v1-preview-llama-3B,一个仅有30亿参数但能力却相当能打的混合推理模型。如果你手头有一台Windows电脑,想在本地快速把它跑起来,那么这篇教程就是为你准备的。

我们将使用Ollama这个轻量级的工具,在Windows的WSL2(Windows Subsystem for Linux)环境中,一步步完成模型的部署和初体验。整个过程不需要复杂的配置,跟着做,十分钟内你就能和这个聪明的“小模型”对话了。

1. 准备工作:认识我们的工具与环境

在开始动手之前,我们先花一分钟了解一下今天要用到的几个关键角色,这能帮你更好地理解每一步在做什么。

Cogito-v1-preview-llama-3B:这是今天的主角。它是由Deep Cogito团队推出的一个预览版模型。别看它只有3B(30亿)参数,属于“小模型”范畴,但它的设计很有特点。它是一个“混合推理模型”,这意味着它有两种工作模式:一种是像普通聊天模型一样直接回答你的问题;另一种是在回答前会先进行一番“自我反思”和推理,这通常能让它的回答更严谨、更准确,尤其在解决数学题或逻辑问题时。官方测试显示,它在多项标准测试中的表现,超过了同尺寸的其他知名开源模型。

Ollama:这是我们的“模型管家”和“运行引擎”。它的核心价值是让大语言模型在本地运行变得极其简单。你不需要关心复杂的Python环境、依赖库或者模型文件怎么下载,Ollama帮你一站式搞定。你只需要告诉它“我要运行cogito:3b”,它就会自动去拉取对应的模型文件,并启动一个本地服务供你调用。它支持命令行和Web界面两种交互方式,对新手非常友好。

WSL2 (Windows Subsystem for Linux 2):这是我们在Windows系统上搭建Linux环境的“魔法盒子”。为什么需要它?因为Ollama原生在Linux和macOS上运行最顺畅、支持也最完善。通过WSL2,我们可以在Windows内部无缝运行一个完整的Ubuntu系统,从而获得最佳的Ollama使用体验。这比在纯Windows下折腾各种兼容性问题要省心得多。

简单来说,我们的部署路径就是:在Windows上启用WSL2并安装Ubuntu → 在Ubuntu中安装Ollama → 用Ollama拉取并运行Cogito模型

2. 第一步:设置WSL2与Ubuntu环境

这是整个流程的基石。如果你已经安装并配置好了WSL2和Ubuntu,可以跳过这一步,直接进入下一节。

2.1 启用Windows的WSL功能

首先,我们需要打开Windows系统对WSL的支持。这是系统层面的功能,需要以管理员权限操作。

  1. 按下键盘上的 Win + X 键,在弹出的菜单中选择 “Windows PowerShell (管理员)”“终端 (管理员)”
  2. 在打开的蓝色或黑色命令窗口(管理员终端)中,输入以下命令并回车:
    wsl --install
    
    这个命令会执行一系列操作:启用“适用于Linux的Windows子系统”和“虚拟机平台”这两个必需的Windows功能,并默认安装Ubuntu发行版。执行过程中可能会提示你重启电脑,按照提示重启即可。

小提示:如果你的系统比较旧,或者上述命令不生效,可以尝试手动启用功能。在管理员终端中分别执行:

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

执行后重启电脑。

2.2 完成Ubuntu初始设置

电脑重启后,你可能会在开始菜单看到一个名为“Ubuntu”的应用图标,点击它。或者,直接在Windows搜索栏输入“Ubuntu”并打开。

第一次运行,它会进行初始安装,这可能需要几分钟,请耐心等待。安装完成后,它会提示你创建新的UNIX用户名和密码。

  • 用户名:建议使用英文小写,例如 yourname
  • 密码:输入时屏幕上不会显示字符,这是正常的,输完后回车即可。请务必记住这个密码,后续执行sudo命令时需要用到。

设置完成后,你会看到一个类似 yourname@DESKTOP-XXXX:~$ 的命令行提示符,恭喜你,现在已经进入Ubuntu系统的终端环境了。

2.3 更新Ubuntu系统(可选但推荐)

为了确保系统环境是最新的,我们运行一下更新命令。在Ubuntu终端中,依次输入以下两条命令:

sudo apt update
sudo apt upgrade -y

第一条命令 sudo apt update 是刷新软件包列表。系统会提示你输入密码,就是你刚才设置的那个密码。 第二条命令 sudo apt upgrade -y 是升级所有可升级的软件包,-y 参数表示自动确认所有提示。

3. 第二步:在WSL2中安装Ollama

现在我们的Ubuntu系统已经就绪,可以安装今天的核心工具Ollama了。Ollama提供了非常便捷的一键安装脚本。

在Ubuntu终端中,输入并执行以下命令:

curl -fsSL https://ollama.com/install.sh | sh

这个命令会从Ollama官网下载安装脚本并自动执行。安装过程会:

  1. 检测你的系统架构(通常是x86_64)。
  2. 下载Ollama的安装包。
  3. 将其安装为系统服务。

安装完成后,Ollama服务应该已经自动启动了。你可以通过以下命令来检查Ollama的服务状态:

sudo systemctl status ollama

如果看到状态显示为 active (running),就说明服务运行正常。如果没启动,可以用 sudo systemctl start ollama 来启动它。

4. 第三步:拉取并运行Cogito-v1-preview-llama-3B模型

Ollama服务跑起来后,我们就可以用它来获取模型了。Ollama的模型管理非常简单,一个命令就能完成下载和基础运行。

在Ubuntu终端中,输入以下命令:

ollama run cogito:3b

这是最关键的一步。当你第一次运行这个命令时,Ollama会做以下几件事:

  1. 拉取模型:它会从Ollama的模型库中查找名为 cogito:3b 的模型,并开始下载。这个模型文件大约几个GB,下载速度取决于你的网络。
  2. 加载运行:下载完成后,Ollama会自动将模型加载到内存中,并启动一个交互式对话界面。

当你在终端看到下载进度条,并最终出现 >>> 这样的提示符时,就表示模型已经成功加载并运行,正在等待你的输入!

你可以尝试向它问好,比如输入:

你好,请介绍一下你自己。

然后按回车,看看它会如何回应。按 Ctrl+D 可以退出当前的交互式会话。

5. 第四步:通过Web界面与模型交互(更推荐)

在终端里用命令行对话虽然很酷,但毕竟不太方便。Ollama还提供了一个图形化的Web界面,用起来更直观。我们需要先确保Ollama服务在运行,然后通过浏览器访问。

5.1 确保Ollama服务运行

如果你已经退出了上一步的 ollama run 会话,模型服务可能还在后台运行。为了确保Web接口可用,我们最好显式地以后台模式运行模型服务。

打开一个新的Ubuntu终端,或者如果你只有一个终端,可以先按 Ctrl+D 退出之前的交互会话,然后输入:

ollama serve &

这个命令会让Ollama服务在后台运行。& 符号表示“在后台运行”。

5.2 在Windows浏览器中访问

Ollama的Web服务默认运行在 127.0.0.1:11434 这个地址。但是,由于我们是在WSL2的Ubuntu环境中运行的服务,Windows系统不能直接访问 127.0.0.1

这里有个小技巧:WSL2为Windows主机提供了一个特殊的访问地址。请在你的Windows系统上(不是在Ubuntu终端里),打开你常用的浏览器(如Chrome, Edge),在地址栏输入:

http://localhost:11434

如果连接成功,你应该能看到一个非常简洁的Ollama API界面,显示一些JSON格式的信息,这表明Web服务是通的。

更友好的界面:Ollama官方还提供了一个更美观的聊天界面。在浏览器中访问:

http://localhost:11434

实际上,Ollama新版本默认会在根路径提供UI。如果上述地址只显示API信息,你可以尝试访问其内置的UI,或者使用第三方开源UI(如Open WebUI)进行连接,这需要额外的部署步骤,但对于日常聊天,我们接下来介绍更简单的方法。

最简单的方法:继续使用ollama run命令。实际上,对于只是想快速体验和对话,在Ubuntu终端里使用 ollama run cogito:3b 进入交互模式是最直接、最稳定的方式。Web UI的配置涉及端口转发和可能的安全组设置,对于纯新手,在终端里对话足以完成所有测试。

6. 快速体验Cogito模型的两种模式

还记得我们开头说Cogito是“混合推理模型”吗?我们来简单体验一下它的两种回答模式。在 ollama run cogito:3b 的交互界面中,你可以通过提示词来引导它。

  • 直接回答模式:像使用普通聊天模型一样直接提问。

    >>> 法国的首都是哪里?
    

    它会直接给出答案:“巴黎”。

  • 推理模式:在问题前加上 [推理] 或类似的指令(具体触发词可能需要参考模型卡片,这里以[推理]为例),可以激发它的“自我反思”能力。

    >>> [推理] 一个篮子里有5个苹果,我拿走了2个,又放进去3个,现在篮子里有几个苹果?
    

    在这种模式下,模型可能会在最终答案前,先输出一段它的思考过程,比如:“首先,最初有5个苹果。拿走2个后,剩下5-2=3个。然后放进去3个,变成3+3=6个。所以最终答案是6个。” 这对于解决逻辑和数学问题很有帮助。

你可以多问几个问题,比如让它写一段简单的Python代码,或者解释一个科学概念,感受一下这个3B模型的能力边界。

7. 总结

好了,让我们回顾一下今天完成的事情:

  1. 环境搭建:我们在Windows系统上,通过启用WSL2功能,创建了一个Linux(Ubuntu)子系统。这为我们运行Ollama提供了最佳环境。
  2. 工具安装:在Ubuntu中,我们使用一行命令就安装好了模型管理工具Ollama。
  3. 模型部署:通过 ollama run cogito:3b 这个简单的指令,我们自动下载并启动了Cogito-v1-preview-llama-3B模型。
  4. 模型交互:我们学会了在终端与模型进行对话,并初步了解了其“直接回答”和“推理”两种模式的特点。

整个过程的核心就是 Ollama,它极大地简化了本地运行大语言模型的复杂度。而 Cogito:3b 作为一个紧凑的混合推理模型,为我们在本地进行轻量级的代码辅助、学习答疑或逻辑推理提供了一个不错的选择。


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐