【实战02】架构基准:DeepSeek-V3.2在理想语义下的边界测试
0. 前情提要
在 【实战 01】任务定义:从经营维度构建 Text2SQL Agent 评测基准-CSDN博客中,我们构建了 10 个梯度的 Benchmark v2.0。今天,我们将这套考卷交给大模型界的性价比王者——DeepSeek-V3.2 (Non-Thinking Mode)。
本文将通过对比测试证明:在最简单的 Naive Zero-shot 架构下,AI 是一个完美的“取数助手”,但不是一个合格的“业务专家”,仍待测试。
1. 架构定义:什么是“Naive Zero-shot (原生直出)”?
这是 Text2SQL 路径中最基础的 Baseline(基准线)。它的特点是“单向、线性、无反馈”。
1.1 运行逻辑
模型仅依赖 Prompt 中提供的 DDL(表结构)和用户问题进行一次性推理。
-
输入: 全量 DDL + System Prompt + 用户问题。
-
输出: 直接生成的 SQL 语句。
-
特性: 不具备意图澄清、不具备报错纠错、不具备业务知识挂载。
1.2 架构逻辑图

2. 核心引擎:DeepSeek-V3.2 深度剖析
本次测试选用的底座是 DeepSeek-V3.2。作为 671B 参数量的 MoE 架构,它在 Text2SQL 领域具有极高的天然优势:
-
极低成本: 输入 0.1 元/1M tokens,输出 0.2 元/1M tokens。这意味着一次复杂的经营分析查询,成本仅为人民币 0.0001 元。
-
代码原生强化: 相比通用模型,DeepSeek 在预训练阶段对逻辑代码进行了深度加固,这使得它在 Naive 架构下的 SQL 语法准确率极高
3. 测评结果:理想环境下的“学霸”假象
我们首先在精准语义、洁净数据(标准 Chinook 数据库)的环境下进行了测试。
| 题号 | 难度 | 考点简述 | 结果 | 得分 |
| Q1-Q3 | 1-2 | 基础关联与分组过滤 | ✅ | 18 |
| Q4-Q8 | 3-4 | 多表穿透与嵌套指标 | ✅ | 56 |
| Q9-Q10 | 5 | 复杂占比与能效方差 | ✅ | 26 |
| 总计 | - | - | PASS | 100 |
结论: 在语义 100% 精准的情况下,即便是不带任何纠错机制的 Naive 架构,DeepSeek-V3.2 依然拿到了满分。这证明了:对于具备 SQL 基础的数据分析师(DA),简单架构已足够提升 80% 的取数效率。
4. 核心洞察:产品经理视角下的架构边界
通过对 DeepSeek-V3.2 在 Naive 架构下的两轮测试,我们得出了三个极具工程落地价值的结论:
-
提效神器:单一数据域的“即插即用” 在类似 Chinook 这种规模(11 张表)且数据治理较为理想(外键清晰、命名规范)的环境下,Naive 架构配合 DeepSeek-V3.2 的原生逻辑能力,已经足以支撑 专业数据分析师(DA) 的日常取数。它能将复杂的 Join 拼接时间从分钟级降至秒级,是提升内部数据域生产力的最优性价比方案。
-
成本红线:全量 DDL 注入的 Token 压力 尽管 DeepSeek 极具价格优势,但 Naive 架构采用“全量 DDL 注入”的模式在面对企业级数千张表时会迅速失效。作为产品经理,必须考虑 Token 消耗与响应延迟(Latency) 的平衡。如果每次提问都要带上几万字的表结构,不仅成本激增,更会因为信息过载导致模型生成 SQL 的准确率下降。
-
技术下沉:本地开源小模型的替代可能性 云端大模型虽强,但数据隐私和长期订阅成本是企业痛点。我们迫切需要验证:像 Qwen-2.5-7B 这样参数量级更小、可在本地环境部署的“小钢炮”,通过合理的 Prompt 工程或微调,是否能在特定数据域内达到 DeepSeek-V3.2 同样的取数精度?
5. 下一步演进:寻找“业务级”最优解
既然发现了 Naive 架构“能辅助专业人员,难赋能业务人员”的现状,下一步我们将从两个差异化方向进行深挖:
方向 A:给分析师省钱——Token 瘦身与本地化
我们将离开云端环境,在本地服务器部署 Qwen-2.5-7B,测试两项关键策略:
-
Schema RAG(按需检索): 放弃全量注入,利用向量数据库只检索与问题相关的表结构,目标是将 Token 消耗降低 80% 以上。
-
性能对标: 验证 7B 模型在处理 Q4-Q8 等中高难度题目时的逻辑稳定性。
方向 B:给业务员降门槛——模糊语义的精准转化
要让不配置 SQL 知识的业务人员也能“对话即报表”,我们需要打破 Naive 架构的线性逻辑:
-
意图澄清机制(Clarification): 当用户说“独狼”或“业绩拉胯”时,Agent 如何通过多轮对话反问用户,将模糊口语收敛为确定的计算口语。
-
业务字典映射: 引入 RAG 挂载企业内部的业务术语库,实现从“行话”到“字段”的精准翻译。
本文通过实测划清了 Naive 架构的适用边界:它适合作为 DA 的“副驾驶”,但在业务一线的“泥泞道路”上的表现未知。下一篇我们将测试如何给分析师省钱,节省Token。
更多推荐


所有评论(0)