题目1：AI 产品需求评审时，如何判断一个需求是否真的需要大模型？

• 判断标准不是“能否接入大模型”，而是大模型是否比规则、搜索、传统模型或人工流程产生可验证的增量。适合大模型的需求通常包含大量非结构化输入、表达方式多样、需要语义理解或开放式生成，并允许一定概率误差且具备校验和兜底。若规则明确、结果必须精确一致、响应极低延迟，或错误会直接造成高额损失，确定性方案往往更合适。
• 评审时应先定义用户任务、现有基线、成功指标和失败代价，再用真实样本做最小验证，比较质量、时延、成本、可解释性及运维投入。例如把上万条客服反馈聚类并摘要，大模型能显著减少人工阅读；计算会员费用则应由规则引擎完成，大模型最多解释规则。只有当试验在任务成功率或人工节省上明显超过基线，且幻觉、隐私、合规和人工接管成本可控，需求才有充分理由使用大模型。

题目2：AI 产品 PRD 中必须写清楚哪些输入、输出和失败兜底？

• PRD 首先要定义输入：用户可提交什么内容、格式和长度限制、所需上下文与数据来源、权限和隐私要求，以及缺失、冲突、越权或恶意输入如何处理。还应给出典型样例和不支持样例，避免研发自行猜测边界。
• 输出部分要写清内容目标、结构或 Schema、语言与语气、是否必须引用来源、允许的不确定性、延迟要求、展示和可编辑方式，以及判定正确的验收标准。失败兜底需按类型设计：低置信度时澄清或拒答，检索无结果时说明依据不足，模型或工具超时可限次重试并降级，涉及高风险操作时必须二次确认或转人工；同时规定用户提示、状态保留、人工接管信息包和审计日志。最后明确任务成功率、事实错误率、拒答率、接管率、P95 延迟与单次成本的口径和上线阈值。

题目3：如何定义一个 AI 功能的任务成功率？

• 任务成功率应围绕用户目标定义，而不是用“模型有输出”或点赞率代替。常用口径是：在统计周期内，满足准入条件且去重后的有效任务中，达到预先定义完成条件的任务占比。分母要明确任务起点、会话去重、取消操作、测试流量和违规请求是否计入；分子要同时满足结果正确、关键流程完成、无严重安全问题，必要时还要满足时延要求。
• 例如“修改配送地址”的成功条件可以是身份校验通过、地址符合规则、订单系统写入成功且用户收到确认，而不是 Agent 回复“已修改”。可通过系统事件自动判定写入结果，对语义质量抽样人工评审，并把模型理解失败、工具失败、用户放弃分别归因。总体成功率还应按任务类型、用户群和版本分层，附样本量和置信区间；点赞、复问率和人工接管率作为辅助指标，防止单一口径掩盖失败。

题目4：人工接管率能反映什么产品问题？

• 人工接管率反映自动化能力覆盖、模型置信度、流程稳定性和用户信任，但必须拆分原因后才能解释。接管可能由用户主动要求、模型低置信度、政策强制、工具故障、权限不足或超时触发；把这些情况合并，只能看到现象，无法判断是模型质量、知识缺口、交互设计还是系统依赖出了问题。
• 例如某客服场景接管率上升，若集中在退款规则变更后，可能是知识库未更新；若集中在工具超时，是工程稳定性问题；若答案正确仍被用户转人工，可能是解释不清或信任不足。指标应定义为进入人工流程的有效任务数除以全部符合自动服务条件的任务数，并按触发原因、任务类型、版本和最终解决结果分桶。高接管率并不一定坏，高风险业务主动转人工是正确控制；真正要优化的是可安全自动完成却被接管的比例，以及接管后重复陈述和等待成本。

题目5：用户反馈应该如何转化为可迭代的问题标签？

• 先保留原始反馈、会话上下文和调用链，再把反馈转成可定位、可统计、可分派的问题对象。标签体系至少包含业务场景、失败阶段、可观察现象、根因、严重度和处理方向。例如用户说“答非所问”，现象标签相同，但根因可能是意图识别错误、召回缺失、重排错误、知识过期或生成未遵循证据，不能直接都归为模型能力差。
• 每个标签要有定义、正反例和归属规则，允许必要的多标签，但避免含义重叠；将模型版本、提示词版本、文档 ID、工具状态、用户追问和人工处理结果关联到样本。先用规则或模型预标，再由人工抽检高风险和低置信度样本，定期计算标注一致性并合并低价值标签。迭代时按影响用户数、严重度、修复成本和可验证性排序，建立“标签—责任模块—修复方案—回归集—上线指标”的闭环，避免反馈只停留在情绪分类。

题目6：MVP 阶段如何控制 AI 能力的范围？

• MVP 应围绕一个高频且价值明确的用户任务收窄能力，而不是先做全能对话框。需要明确目标用户、支持的意图、输入格式、知识范围、可调用工具、最大轮次、输出形式、时延和成本上限，并列出不支持场景。优先选择结果可验证、错误可恢复、数据可获得的任务，把开放生成约束为结构化输出或少量可控选项。
• 例如客服 MVP 只支持订单状态和退货政策查询，知识限定为已审核文档，工具只开放只读接口；缺少订单号时追问，低置信度、跨域问题或退款执行直接转人工，不让模型自行承诺。上线前用真实样本设定任务成功率、事实错误率、拒答准确率、P95 延迟和单任务成本门槛，小流量验证后再按错误标签扩展能力。MVP 的关键是验证用户价值和风险假设，不能为了提高覆盖率过早加入多工具自治、不可逆操作和所有长尾意图。