原创

今天，我们要尝试使用langchain完成一个最简单的任务：

基于一个大语言模型(LLM)，使用代码的方式完成对话(chat)

为了实现这个目标，我们需要先进行如下的准备，然后才能开始进行代码的编写：

1、使用ollama，在本地配置一个LLM；

2、配置好PyCharm的环境；

3、langchain等依赖库的安装。

先大体的介绍一下思路：

langchain是一套AI编程框架，将基础的功能已经整合进来封装，减少我们的工作量。但langchain本身并不是LLM，需要我们安装好LLM，或使用在线api。我们选择了自己部署，而自己部署的一个工具就是Ollama，它可以在本地部署好我们的LLM，如llama\qwen等，Ollama是这些LLM的运行环境。

串连起来说就是：用langchain提供的函数进行快捷编程，langchain的函数调用Ollama的接口，Ollama再调用部署在其中的LLM，实现对LLM功能的调用，完成我们的任务。

什么是Ollama？

用通俗的语言解释，Ollama是大模型的运行环境，LLM并不是一个可执行文件，需要依托于一个运行环境才可以使用。百度搜索 Ollama 下载。

Ollama本身就200M+的大小，任何电脑都可以安装。Ollama没有GUI，需要我们在CMD中运行。

完成安装后，输入ollama -v，能看到version就非常OK！

但这只是一个空的运行环境，接下来要去安装一个LLM，这里我选择阿里的QWEN2。

回到官网，点击页面右上角的"model"，找到QWEN2。

点击进去后，这里可以在旁边看到安装的命令。

ollama run qwen2

如果你的电脑性能一般，ollama的运行会比较慢。Ollama对电脑的最低要求包括至少8GB的内存以流畅运行7B模型，‌而14B模型则需要至少16GB内存，‌72B模型则需要至少64GB内存。‌

回到CMD中，输入上述命令。

看到开始安装。需要多长时间看自己的网速。

完成后，回到CMD，输入ollama run qwen2，就可以运行千问大模型，并与其对话了。

有了这个模型后，我们可以安装一个webui，这样就可以像chatGPT一样在网页中对话。但我们今天的任务是使用代码进行对话，这样才能将整个过程结合到我们的业务中。

Ollama的接口服务器占用11434端口，所以，我们可以先在浏览器中查看此服务是否可用。

你自己也可以安装一些其它的模型来体验。

安装Pycharm并配置langchain

Pycharm我就不多说了，相信来学习AI的都会使用，这里只给出我们需要在编码前，完成的一些依赖库安装。

如果你的pip版本老了，先升级一下。

python.exe -m pip install --upgrade pip

然后执行下面的命令，安装langchain

pip install langchain
pip install langchain-community
pip install beautifulsoup4

LangChain: 一个 LLM 编程框架，你想开发一个基于 LLM 应用，需要什么组件它都有，直接使用就行；甚至针对常规的应用流程，它利用链(LangChain中Chain的由来)这个概念已经内置标准化方案了。

langchain有如下的几大模块：提示模板、示例选择器、聊天模型、LLMs、输出解析器、文档加载器、文本拆分器、嵌入模型、向量存储、检索器、索引、工具、代理、多模态、回调。看起来很多，但是你会发现，langchain已经将我们需要四处寻找的工具，都整合了进来，这样会节省我们大量的时间。

先放下langchain是什么的好奇心，我们后面会讲到。现在，在我们完成Ollama及llm，以后Python运行环境的准备后，我们输入这段代码。

def chat():
    prompt = ChatPromptTemplate.from_messages([
        ("system", "{parser_instructions}"),
        ("human", "列出{cityName}的{viewPointNum}个著名景点。")
    ])
    model = Ollama(model="qwen2")
    output_parser = CommaSeparatedListOutputParser()
    parser_instructions = output_parser.get_format_instructions()
    # 查看解析器的指令内容
    print("----- 解析器 -----")
    print(parser_instructions)
    final_prompt = prompt.invoke({"cityName": "成都", "viewPointNum": 4, "parser_instructions": parser_instructions})
       
    response = model.invoke(final_prompt)
    print("----- response -----")
    print(response)

    ret = output_parser.invoke(response)
    print("------ret-----")
    print(ret)

运行后得到了结果：

运行时长依你的电脑配置而定，我的几秒，现在我们来解释一下代码。

什么是langchain?

前面已经提到LangChain是 一个 LLM 编程框架，你想开发一个基于 LLM 应用，需要什么组件它都有，直接使用就行；

langchain最有价值的是组件：用于处理语言模型的抽象概念，以及每个抽象概念的实现集合。无论你是否使用LangChain框架的其他部分，组件都是模块化的，易于使用。现成的链：用于完成特定高级任务的组件的结构化组合。现成的链使人容易上手。对于更复杂的应用和细微的用例，组件使得定制现有链或建立新链变得容易。

这些概念性的知识在实际运用前都是难以理解的，让我们直接开始看代码吧。

从我们最直观的感受上来说，一个Chat的过程肯定是 准备好提示词 -> 输入给LLM -> LLM输出反馈。

prompt = ChatPromptTemplate.from_messages([
        ("system", "{parser_instructions}"),
        ("human", "列出{cityName}的{viewPointNum}个著名景点。")
    ])
### 这里是使用了langchain的提示词模板，system中的
###parser_instructions是对于输出的要求
###human中的cityName和viewPointNum是我们的问题中动态输入的参数。

然后下一段

model = Ollama(model="qwen2")
### 定义了我们要使用的LLM，这里我使用了“千问”

下一段

output_parser = CommaSeparatedListOutputParser()
parser_instructions = output_parser.get_format_instructions()
### 这里定义了输出的解析方式CommaSeparatedListOutputParser，
### 除此之外，还有DatetimeOutputParser、EnumOutputParser等多种解析器

完成了提示词、大模型选择、输出定义后，但并没有运行起来。需要我们在后面的代码中，使用invoke。

final_prompt = prompt.invoke(
        {"cityName": "成都", "viewPointNum": 4, "parser_instructions": parser_instructions})
###对prompt使用invoke，将我们的输入绑定到提示词模板，形成final_prompt 

response = model.invoke(final_prompt)
print("----- response -----")
print(response)

###对model使用invoke，将final_prompt提交给LLM，也就是qwen2，
###最后得到一个response，这是一个message，需要解析成我们需要的格式。

ret = output_parser.invoke(response)
print("------ret-----")
print(ret)
###将response提交给output_parser，得到分隔开的一个字段串数组类型的输出。

怎么样！是不是十分的简单。在这段代理里使用了提示词模板、模型、输出解析器。但前面提到的最重要的链好像并没有用到。

langchain使用了LCEL表达语言，我们可以将上述的运行部分用这样的方式来替代，一样可以得到结果。

chain = prompt | llm | output_parser
rrr = chain.invoke({"cityName": "成都", "viewPointNum": 4, "parser_instructions": parser_instructions})

这就是langchain的链的表达，虽然这只是一个最简单的链，但我们已经初步的感受到，链就是一个工作流，将我们的工作串起来，避免了Invoke满天飞。

在langchain中，实际上已经定义了很多的chain，当我们更加的熟悉后，我们可以使用现有的链。

总结

今天我们学习了在本地部署一个大模型，配置langchain，并使用langchain完成了一个最基础对话功能。那么，我们如何才能给他一段我们的语料，让大模型根据我们的语料来回答问题呢？明天，我们再继续探索。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。