核心要点摘要

• Anthropic 的分析覆盖 309,815 条匿名主观任务对话、三个 Claude 模型与 20 种语言，四条观察轴合计解释约 15% 的差异。
• 工程评测应把模型、语言、任务、提示词、检索快照和人工评分分字段保存，避免用一个总分掩盖切片问题。
• 发布门禁应关注高风险场景是否漂移，并在模型或提示词变更后用固定样本复跑。

多语言模型评测常见做法是把同一批问题翻译后跑一遍，再看准确率。Anthropic 7 月 13 日发布的新研究提醒工程团队，这样还不够：模型版本和对话语言都可能改变 Claude 表达出的谨慎、温和、深度与坦率程度。

多语言评测管线

把这项研究转成评测任务时，先要记录清楚数据口径。Anthropic 从 3,307 个价值标签中整理出 339 个高层价值，并检查了 309,815 条匿名 Claude.ai 主观任务对话。被比较的模型是 Sonnet 4.6、Opus 4.6 和 Opus 4.7，语言共 20 种，每个模型与语言的组合约有 5,000 条样本。对应到工程字段，model_id、language、task_type、prompt_version、评分人和评分时间都应单独保存。

评测集不要从通用翻译语料里随便抽。可以先选三类真实主观任务：需要安抚的投诉、需要指出问题的方案评审、需要控制篇幅的执行指令。每条任务保留业务目标和不可改变的信息，再由母语人员分别写出自然版本。这样测试的是同一意图在不同语言中的表现，而不是翻译器制造的句式差异。

字段设计与分层统计

四组观察项可以分别落表：回答更偏顺从还是谨慎，更偏温暖还是严谨，倾向深入展开还是保持简洁，以及坦率说明与直接执行之间如何取舍。它们不是互斥类别，同一回答完全可能兼具温和与准确。更重要的是，这四组轴合计只覆盖约 15% 的差异，因此自动报表不应把它们相加成一个看似精确的“价值观得分”。

团队若通过 147AI 回放同批中文、英文和其他语言样本，可以把模型、语言、任务类型、人工评分和失败原因分开存。这里要观察的是切片差异，不是把一次回答归结成固定性格。 回归测试要固定原始任务含义，并让母语审核者检查翻译是否改变了请求。

字段层面还要区分自动指标和人工观察。自动侧记录是否完成任务、是否包含禁止内容、长度和工具调用结果；人工侧再标记是否过度附和、是否无故警告、解释是否太长、对不确定性是否交代清楚。评分人要看到原语言，不要只看翻译后的摘要。若两名评分人意见差很大，应保留分歧，而不是强行平均成一个精确数字。

别把四条轴做成总分

发布门禁还要写入统计边界。官方看到的模型差异和语言差异，平均来看小于不同对话本身的波动；训练数据规模、语料组成、行为训练和文化语境分别贡献了多少，目前也没有定论。工程报告应把异常限定到具体切片，不能据此制作语言排名，或用一次输出给模型定性。

回归测试的触发条件可以很朴素：模型版本变化、系统提示词改版、翻译模板调整或业务从一个国家扩到另一个国家时，重跑固定样本。验收报告按语言列出有效样本数和人工复核结果，不只给总体成功率。研究中的四条轴适合帮助命名问题，但发布门禁仍应落在团队能解释的业务行为上。

还有一个工程细节容易漏掉：样本回放时要冻结工具结果和知识库版本。若中文请求命中了新文档，英文请求仍在使用旧缓存，最后看到的差异就不是表达倾向。可以给每轮评测生成 run_id，把模型、语言、检索快照、系统提示词和评分表绑定在一起。发现异常时，先复现同一运行环境，再讨论是否属于模型或语言漂移。

结论

多语言评测的关键不是再加一个价值观总分，而是让每次差异都能回到具体模型、语言、任务和运行环境。固定样本、原语言复核与版本化记录结合起来，研究中的四条轴才会变成可执行的工程观察项。

FAQ

Q1：四条价值轴可以相加成一个综合分吗？

A：不建议。四条轴描述不同方向的相对倾向，而且合计只解释约 15% 的差异；不同业务对两端的要求也不一样。

Q2：哪些变更应触发多语言回归测试？

A：模型版本、系统提示词、翻译模板、知识库快照或目标地区发生变化时，都应复跑固定的高风险样本。

内容更新时间：2026-07-14

官方来源：Claude’s values across models and languages

证据边界：研究样本、模型范围、语言数量和四条轴来自 Anthropic 官方研究页；字段设计、回归触发条件与运行编号是原文面向工程评测提出的实践建议，并非 Anthropic 产品规范。