问： 公司花了十几万微调大模型，想让AI更懂行业，结果效果还不如RAG。微调真的没用吗？

答： 微调不是没用，是用错了地方。微调解决“行为对齐”，RAG解决“知识获取”。 用微调来解决知识问题，是花了10倍的价钱去做RAG擅长的事。

一、微调不能“记住”业务数据

很多企业认为：微调可以把新知识“写进”模型参数，让模型“学会”这些知识，这样就不需要RAG了。

这个理解不对。微调确实能改变模型的输出分布，但把新知识“记住”到参数里需要大规模预训练数据，几千条微调数据远远不够。

微调能做的： 让回答格式更规范、语气更统一、推理逻辑更贴近业务专家。比如让模型按“人机料法环”五个维度组织答案。

微调做不到的： 让模型知道某个具体产品的良率、某个供应商的交货表现——这些动态变化的业务数据，微调没法“记住”。

二、微调在三个场景里真有用

场景一：格式固定输出。审计报告、周报、合规检查单有严格的格式要求。微调可以让模型学会这套模板，每次输出保持一致的风格和结构。

场景二：风格模仿。品牌文案、官方回复、销售话术——用过去几年的品牌文案做微调，让模型学会品牌的语气和用词。

场景三：推理逻辑定制。不同行业专家的推理方式不同。用行业专家的分析案例做微调，让模型学会按行业的思维方式组织答案。

三、RAG+微调才是正确组合

两者不是二选一，是组合使用：

RAG负责： 从知识库检索具体业务数据

微调负责： 优化模型的“阅读理解能力”——让它更擅长从检索资料中提取关键信息，并按业务规范组织答案

微调的目标不是让模型“记住”业务数据，而是让模型“更好地使用”检索到的数据。

四、微调项目最容易翻车的三个细节

细节一：训练数据和业务场景不匹配。 用通用领域数据做微调，却指望制造场景下表现更好。微调数据必须和实际场景高度相关。

细节二：数据质量差导致“学坏”。 几百条优质数据远好于几千条粗制滥造的数据。模型学到的不仅是内容，还有数据的质量特征。

细节三：过度微调导致“灾难性遗忘”。 训练轮次太多，模型会“忘记”之前学会的通用能力。要谨慎控制训练参数。

FAQ

Q：微调需要多少数据才有效？

A：格式固定输出500-1000条高质量样本即可。推理逻辑定制可能需要2000-5000条。数据质量比数据量重要得多。

Q：微调的成本大概多少？

A：7B模型微调（1000条数据），单张A100跑2-4小时，云成本几百元。但数据准备的人力成本通常是云成本的10倍以上。

Q：微调后的模型能和RAG一起用吗？

A：可以，而且推荐这样用。微调优化模型的“阅读能力”，RAG提供“阅读材料”，两者叠加效果更好。