nlp标签_AI编程社区

nlp

保姆级教程：用本地大模型自动生成视频分镜脚本 + 批量AI生图

牧马人本地推理引擎API使用指南，通过Python代理和HTML界面实现本地模型自动化工作流。核心步骤：1）硬件配置建议（显存要求）；2）开启局域网访问并启动对话/生图模型；3）运行代理服务器脚本并配置网络类型；4）使用HTML界面生成分镜脚本并批量生图，支持手机端操作。该方案提供从文本到视觉素材的完整本地闭环，无需云端，保障隐私和低延迟。适用于ComfyUI等后续工作流处理，支持多设备协作。注：

FlowyAIPC
2026-05-29 16:58:32

 221

 7

#人工智能 #语言模型 #图像处理 +1
大模型注意力机制演变

大模型注意力机制正经历快速迭代。2022年Flash Attention通过工程优化解决内存瓶颈；2023年聚焦KV Cache优化，出现GQA等技术；2024年分化为KV压缩（如MLA）和架构革新（如Mamba）两条路线。未来趋势包括：动态混合注意力模式、注意力与记忆系统融合、硬件协同设计，以及跨模态统一注意力机制。注意力机制正从固定计算范式演变为自适应信息处理框架，核心目标始终是高效捕捉关键信

 pika2002
2026-07-05 15:31:10

 214

 7

#人工智能 #nlp #深度学习 +2
深度学习个人开源知识库深度筑基 | DeepBase

摘要：深度学习开源知识库DeepBase为初学者提供系统化学习路径，整合Python/PyTorch基础、神经网络理论、CV/NLP核心技术及LLM前沿内容。该项目源于作者自学时遭遇的资料碎片化问题，现以完全开源形式分享，包含从张量操作到Transformer架构的完整知识体系，特别适合零基础入门者构建连贯认知。站点涵盖四大模块：工具栈（Python/PyTorch）、深度学习原理、CV/NLP

my熊猫
2026-07-07 14:00:04

 461

 18

#深度学习 #nlp #语言模型 +3
如何选对大模型：场景, benchmark 与性价比

这一阶段评价的不是模型本身，而是数据与任务的质量：如果前期数据杂乱，任务边界不清，后续训出的模型跑分再高也不可信。数据质量：去重、去污染；标注一致性（常用一致率或 Cohen κ）；垂直域的数据集（法律、医学等）往往没有现成试卷，要先定义合格的题目样本。任务定义：输出是离散类别、固定参考答案文本，还是开放生成？与后续评测的衔接：避免训练、公开榜、业务验收各说各话。对绝大多数普通用户, deepse

doctororor
2026-07-13 10:36:33

 398

 9

#nlp #python
【求助】Chatglm cpu 本地部署出错

【代码】【求助】Chatglm cpu 本地部署出错。

m0_52122518
2023-07-16 17:43:31

 550

#nlp #python
glm-4 联网搜索 api 测试

glm-4 联网搜索api测试

 木尧大兄弟
2024-07-11 18:11:12

 2439

 1

#人工智能 #nlp
自然语言处理:第九十八章私有化RAG封神组合：Dify+Fastgpt知识库

Dify 之前有介绍过。

victor_manches
2025-03-12 15:30:00

 1225

 28

#自然语言处理 #easyui #人工智能 +3
微调qwen-VL报错ValueError: Unrecognized configuration class＜xxx＞to build an AutoTokenizer

在微调qwen-vl的时候，微调完成之后，模型也保存好了，但是用保存的模型进行推理的时候报错，看样子是找不到分词器tokenizer。

范帅尧
2024-07-02 16:24:00

 2257

 17

#nlp #语言模型
从零开始到基于docker容器和llama.cpp/llama-cpp-python部署大模型的简易教程

llama.cpp是一个大模型推理平台，可以运行gguf格式的量化模型，并使用C++加速模型推理，使模型可以运行在小显存的gpu上，甚至可以直接纯cpu推理，token数量也可以达到四五十每秒（8核16线程，使用qwen2.5-1.5b模型），另外，该平台几乎兼容所有主流模型。本文介绍了如何使用docker部署llama.cpp和llama.cpp的python绑定llama-cpp-python

不良少年。
2024-11-04 00:58:51

 3705

 47

#人工智能 #nlp #docker
llama.cpp一种在本地CPU上部署的量化模型（超低配推理llama）

前不久，Meta前脚发布完开源大语言模型LLaMA，随后就被网友“泄漏”，直接放了一个磁力链接下载链接。然而那些手头没有顶级显卡的朋友们，就只能看看而已了但是 Georgi Gerganov 开源了一个项目llama.cpp次项目的牛逼之处就是没有GPU也能跑LLaMA模型大大降低的使用成本，本文就是时间如何在我的 mac m1 pro 上面跑起来这个模型。

god_Zeo
2023-04-23 19:02:16

 2.7w

 18

#nlp #语言模型
#03 【chatglm】微调大模型的问题要放在哪个字段？四五个样本怎样让大模型记住？

今天，在【NLP学习群】中，一位同学一下问了2个问题，相信大家在微调时也会遇到这样的问题，自己问题应该放在instruction、input、output哪个字段，用什么格式去训练呢？还有同学是几年前的老爷机/笔记本，或者希望大幅提升部署/微调模型的速度，我们应用了动态技术框架，大幅提升其运算效率（约40%），节省显存资源（最低无显卡2g内存也能提升），工众后台：“加速框架”；如果你还不知道该怎么

 ouhuixiong
2023-08-02 00:18:05

 2381

 1

#人工智能 #语言模型 #nlp
Chatglm3-6B Chat/Base保姆级本地部署以及工具调用

保姆级本地部署，金牌讲师级工具调用--基于全球10B以下最强LLM模型ChatGLM3-6B

八荒、
2024-01-12 00:21:02

 1w

 34

#python #pytorch #人工智能 +4
Chatglm2-6B微调中出现的问题——ValueError: Attempting to unscale FP16 gradients.

这个问题尝试了很久，实际上是环境的问题，如果在训练过程中，将fp16设置为true+int8量化，那么是可以正常训练推理的，如果不设置int8量化就会报错。可以尝试改变peft的版本。

芝士芋泥啵啵
2024-02-03 23:22:43

 3780

 11

#python #人工智能 #nlp
qwen2理论/改进点

除英语和中文外，还接受过 27 种语言的数据培训显着提高编码和数学表现；Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 的扩展上下文长度支持高达 128K 令牌更详细的benchmark建议去看官网blog。

seetimee
2024-06-20 10:15:46

 3480

 18

#语言模型 #nlp
本地部署AI大模型 —— Ollama文档中文翻译

Ollama支持在Modelfile中导入GGUF模型:创建一个名为Modelfile的文件, 使用带有要导入的模型的本地文件路径的“FROM”指令。在 Ollama 里创建模型运行模型从Ollama 库下载的大模型可以用prompt 自定义. 例如, 要自定义llama3创建Modelfile# 将参数设置为1[越高越有创意，越低越连贯]# 设置系统信息SYSTEM """""">>> hiHe

红雨随心翻作浪
2024-06-09 17:53:04

 6429

 20

#人工智能 #python #pip +4
基于milvus的多模态检索

基于milvus的多模态检索，本文包含milvus安装使用、attu 可视化，完整指南启动 Milvus 进行了向量相似度搜索，利用CLIP模型进行多模态检索，附完整代码。

ZH10&03
2024-10-29 10:30:36

 1631

 19

#人工智能 #nlp
【Spark+Hive+hadoop】基于Spark+hadoop贴吧-微博热门交流平台数据分析舆情系统（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）✅

市场洞察：帮助企业了解消费者对其产品、品牌及竞争对手的看法和态度，及时掌握市场动态，为产品研发、市场营销和品牌建设提供决策依据。政策制定：了解公众对政策的反馈和需求，为政府制定更加科学、合理的政策提供参考，提高政策的针对性和有效性。内容管理：帮助平台更好地管理和规范用户生成的内容，打击不良信息和违规行为，营造健康、积极的网络环境。本项目旨在利用 Spark、Hive 和 Hadoop 等大数据技术

 ___Edward
2024-11-04 10:00:00

 2612

 36

#hadoop #分布式 #spark +3
Qdrant 使用指南

【代码】Qdrant 使用指南。

m0_71322224
2026-04-19 14:49:00

 81

#nlp
基于deepseek的文本解析 - 超长文本的md结构化

然而，不管是langchain还是llamaindex提供的文本分割工具，很难直接对非结构化文本进行准确的语义分割，很多原来连续的内容都被分割在不同块中。deepseek完成本次解析后，将deepseek解析生成的结构化md作为already_parsed输入，将下次待解析非结构化的若干页文档作为waiting_parsed输入。这里尝试基于deepseek，将pdf解析后的非结构化文本转化为结构

 liliangcsdn
2025-07-31 23:04:16

 749

 5

#人工智能 #nlp
使用Ollama部署大模型

ollama部署大模型，ollama，gte-Qwen2-7B-instruct，

yangkaixin01
2025-04-16 17:22:10

 1481

 13

#语言模型 #人工智能 #nlp
ollama+open webui使用轻量级DeepSeek模型

输入pip install -i https://pypi.tuna.tsinghua.edu.cn/simple open-webui，使用清华源安装open-webui,，加快下载速度。打开anaconda，输入conda config --add envs_dirs D:\Anaconda\envs指定虚拟环境路径。如果是想直接安装可以双击OllamaSetup.exe，点击Install，

feasibility.
2025-04-13 14:58:04

 1060

 15

#python #人工智能 #nlp
llamafactory 安装和使用

instruction是最新一轮的问，output是最新一轮的回答，history是之前的问和回答。将训练得到的lora模型，加载到checkpoint里。input是对instruction数据的补充。instruction是问，output是回答。将这要训练的数据集丢到。

黑衣骑士兴
2026-02-07 23:36:43

 442

 3

#nlp
在cpu环境下通过xinference离线加载glm4-chat

在cpu环境下通过xinference离线加载glm4-chat

qkfm
2025-01-10 16:42:33

 1628

 4

#nlp #自然语言处理
LLM--RAG入门到实践

本文介绍了RAG（检索增强生成）框架及其应用实践。RAG通过整合检索与生成，实现了知识更新无需重新预训练，并提升了模型回答的可解释性。文章详细解析了RAG的流程，包括文本分块、向量化、索引构建、检索、重排序和提示词工程等步骤。最后以Qwen大模型为例，展示了RAG的实战应用，包括PDF文本读取、分块处理、向量嵌入、相似度计算和语义搜索等关键环节，为读者提供了完整的RAG实现方案。

W@Y…
2026-04-06 12:00:00

 607

 9

#RAG #nlp