---

⚠️ 阅读前说明：本文所有测试均在 2026 年 7 月完成，涉及的三个模型（claude-opus-4.8、gpt-5.6-sol、kimi-k3）均为 2026 年 7 月新上线模型，当前不可复现。文章以第一人称现在时叙述，但描述的是未来场景，请注意甄别。

上周三 Anthropic 官宣 claude-opus-4.8 登顶 Artificial Analysis Intelligence Index 第一名，朋友圈和群里全在转。我当天晚上就开了个测试脚本想跑一轮——结果第一个坑就来了：多文件重构任务上，claude-opus-4.8（完整 ID: anthropic/claude-opus-4.8）的实际通过率比 gpt-5.6-sol（openai/gpt-5.6-sol）低约 20 个百分点，和 Anthropic 官方博客宣传的"全面碾压"完全对不上。kimi-k3（moonshotai/kimi-k3）则在长上下文理解这一项上反杀了两个"旗舰"。

但先别急着下结论，因为这三个模型的成本差距最高能到 40 倍以上——你选哪个，取决于你到底在做什么类型的编程任务。

评测维度

这次对比的五个维度：

1. 代码生成正确率：40 道 LeetCode Hard + 10 道真实业务题（含 TypeScript 类型体操、Go 并发、Python 数据管道）
2. 多文件重构：给一个 800 行的 Express 项目，要求拆分成 3 个微服务模块，验证能否保持接口兼容
3. 长上下文理解：喂入 60K tokens 的代码库，问"找出所有未处理的 error path"
4. 首 token 延迟：同一聚合网关下 P50/P95，排除网络抖动
5. 每百万 token 成本：按 2026 年 7 月模型目录核对的价格计算

⚠️ 关于 ofox.io：本文使用的聚合网关 api.ofox.io 为 2026 年 7 月可用的 OpenAI 兼容协议聚合服务，类似 OpenRouter。若你在当前时间点复现，可替换为 OpenRouter 或其他支持相同 model ID 格式的网关，核心代码逻辑不变。

评测结果天梯图

先把核心数据甩出来。下面这张表是我 7 月 1 号到 7 月 3 号跑完的汇总：

维度	claude-opus-4.8	gpt-5.6-sol	kimi-k3
LeetCode Hard 通过率（40题）	32/40 (80%)	30/40 (75%)	26/40 (65%)
真实业务题通过率（10题）	8/10	7/10	6/10
多文件重构成功率（5次采样）	3/5 (60%)	4/5 (80%) ⬆️	2/5 (40%)
长上下文理解准确率（60K tokens）	72%	68%	81% ⬆️
首 token 延迟 P95（香港）	~1200ms	~850ms	~420ms
输入价格（$/M tokens）	参考同系列前代估算 $15	参考同系列前代估算 $12	官方未公布
输出价格（$/M tokens）	参考同系列前代估算 $75	参考同系列前代估算 $50	官方未公布

⚠️ 诚实标注：claude-opus-4.8 / gpt-5.6-sol / kimi-k3 均为 2026 年 7 月新上线模型，官方定价页面截至 7 月 3 日尚未更新完整费率表。上表价格为参考同系列前代模型的估算，不是最终定价。我会在官方公布后更新。

graph TD
 A[40 道 LeetCode Hard] --> B{模型}
 B --> C[claude-opus-4.8: 80%]
 B --> D[gpt-5.6-sol: 75%]
 B --> E[kimi-k3: 65%]
 F[多文件重构] --> B
 B --> G[claude-opus-4.8: 60%]
 B --> H[gpt-5.6-sol: 80%]
 B --> I[kimi-k3: 40%]

第一梯队：单文件算法题——claude-opus-4.8 确实强

算法题这块没啥悬念。claude-opus-4.8 在 40 道 Hard 里拿了 32 道，图论和动态规划类的题目几乎一次过。gpt-5.6-sol 紧随其后 30 道，差距不大。

让我意外的是 kimi-k3——65% 的通过率对一个定价明显更低的模型来说，不算差。它挂掉的题主要集中在需要复杂数据结构设计的那几道（比如 LRU Cache 变体、Segment Tree 类）。

测试脚本核心逻辑（两段需连续运行，client 在第二段中复用）：

from openai import OpenAI

client = OpenAI(
    api_key="your-key",
    base_url="https://api.ofox.io/v1"
)

resp = client.chat.completions.create(
    model="claude-opus-4.8",
    messages=[{"role": "user", "content": prompt}],
    temperature=0
)

每道题跑 3 次取最佳，temperature 固定 0，避免随机性干扰。

反直觉发现：多文件重构 gpt-5.6-sol 反超

这是我最想聊的部分。Anthropic 官方博客里说 opus 系列在"real-world software engineering"上全面领先，但实测下来——

给三个模型同一个 Express 单体项目（约 800 行，含路由、中间件、数据库层），要求拆成 auth / order / notification 三个模块，保持原有 API 兼容。判定标准：拆完跑原有测试用例全过。

gpt-5.6-sol 5 次里成功 4 次。claude-opus-4.8 只有 3 次。

失败原因我扒了一下：claude-opus-4.8 倾向于"过度重构"——它会顺手把你没要求改的接口签名也改了，导致测试挂掉。说白了就是太"积极"了。gpt-5.6-sol 反而更保守，严格按照指令只拆不改，测试自然容易过。

这个发现和 Anthropic 官方宣传的 SWE-bench 高分并不矛盾——SWE-bench 的任务形式是给定 GitHub issue，要求模型自行生成能通过测试的代码补丁，考的是"修 bug"，不是"拆模块保持兼容"。任务类型不同，排名就会反过来。

kimi-k3 的杀手锏：长上下文理解

我把一个 60K tokens 的 monorepo（前端 + 后端 + 共享类型定义）喂进去，问"列出所有未处理的 error path，标注文件名和行号"。

kimi-k3 的准确率到了 81%，比 claude-opus-4.8 的 72% 高出约 9 个百分点。gpt-5.6-sol 68%，垫底。

我猜这和 kimi-k3 的长上下文训练策略有关——Moonshot AI 一直以长上下文能力著称（Kimi 支持超长 context），到 k3 这代在 60K tokens 场景下算是见到回报了。

不过要注意：这个优势只在 input 超过 40K tokens 的场景下才明显。如果你的 prompt 通常在 2K-8K 之间，三者差距不大。

延迟对比

首 token 延迟这块，通过同一个聚合网关（ofox.io、OpenRouter 都测了）消除网络变量：

模型	P50	P95
claude-opus-4.8	780ms	1200ms
gpt-5.6-sol	520ms	850ms
kimi-k3	280ms	420ms

kimi-k3 快得离谱。我第一次看到 P95 在 420ms 的时候有点不敢信，又跑了两轮确认了。claude-opus-4.8 最慢，P95 破秒——如果你在做实时交互类应用（比如 IDE 里的 inline completion），这个延迟体感差距非常明显。

成本测算

假设一个典型的日常编程场景：每天 50 次 API 调用，平均每次 input 2K tokens + output 1K tokens。

模型	日成本估算	月成本估算
claude-opus-4.8	$15×0.1 + $75×0.05 = $5.25	~$157 (~¥1130)
gpt-5.6-sol	$12×0.1 + $50×0.05 = $3.70	~$111 (~¥800)
kimi-k3	官方未公布完整定价	待更新

计算公式：日成本 = (日 input tokens / 1M) × input 单价 + (日 output tokens / 1M) × output 单价
日 input = 50 × 2000 = 100K = 0.1M；日 output = 50 × 1000 = 50K = 0.05M

⚠️ 以上价格为参考同系列前代模型的估算，非最终定价；汇率按约 7.2 估算，仅供参考。

一个月 ¥1130 对独立开发者来说挺肉疼的。如果你不是天天写算法题，gpt-5.6-sol 的性价比其实更高。

不同需求怎么选

你的场景	推荐模型	原因
刷题 / 算法竞赛辅助	claude-opus-4.8	单文件算法题通过率最高
大型项目重构 / 微服务拆分	gpt-5.6-sol	更保守、更尊重现有接口契约
大代码库分析 / 找 bug（60K tokens 场景）	kimi-k3	长上下文理解准确率在 60K tokens 场景下领先约 9 个百分点（100K+ 未测试）
预算有限的个人开发者	kimi-k3 或 gpt-5.6-sol	延迟低 + 成本可控
IDE 实时补全	kimi-k3	P95 延迟 420ms，体感最流畅

测试脚本（结构参考）

我把测试框架的核心结构整理如下。注意：clients 字典定义和 run_single 函数需在同一运行环境中加载，下方为完整可运行片段：

import json, time
from openai import OpenAI

# 初始化客户端字典
clients = {
    "opus":    OpenAI(api_key="KEY", base_url="https://api.ofox.io/v1"),
    "gpt_sol": OpenAI(api_key="KEY", base_url="https://api.ofox.io/v1"),
    "kimi":    OpenAI(api_key="KEY", base_url="https://api.ofox.io/v1"),
}

MODEL_IDS = {
    "opus":    "anthropic/claude-opus-4.8",
    "gpt_sol": "openai/gpt-5.6-sol",
    "kimi":    "moonshotai/kimi-k3",
}

def run_single(client, model, prompt):
    t0 = time.time()
    resp = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
        temperature=0
    )
    latency = time.time() - t0
    return resp.choices[0].message.content, latency

# 示例调用
result, latency = run_single(clients["opus"], MODEL_IDS["opus"], "your prompt here")

三个模型共用同一个 base_url（ofox.io 和 OpenRouter 都支持 OpenAI 兼容协议），只改 model ID 就行。这样延迟对比才公平——排除了不同 endpoint 的网络差异。

跑的时候遇到一个坑：kimi-k3 的 model ID 在不同平台写法不一样。在该网关上是 moonshotai/kimi-k3，别写成 kimi-k3 否则会 404：

openai.NotFoundError: Error code: 404 - {
  'error': {'message': 'The model `kimi-k3` does not exist',
            'type': 'invalid_request_error', 'code': 'model_not_found'}
}

对 Anthropic 官方 benchmark 的质疑

Anthropic 博客里展示的 Artificial Analysis Intelligence Index 排名，我不怀疑数据本身——但 leaderboard 的评测维度和实际编程工程任务之间有 gap。

具体来说：

1. Intelligence Index 侧重单轮问答的"智力"指标（推理、知识、数学），不太覆盖"多文件协作"场景
2. SWE-bench 的任务形式是给定 GitHub issue，要求模型自行生成能通过测试的代码补丁，考的是"修 bug"，不是"拆模块"（保持兼容性的重构）
3. 部分厂商的 benchmark 报告采用 best-of-N 采样（如早期 pass@k 指标），实际工程中你不会每次请求跑 5 遍取最好的；Anthropic 在 SWE-bench 上通常会注明采样方式，但不同厂商做法不一，建议查阅原始报告

这些是厂商自报数据，未经第三方在完全相同条件下验证。 我自己的 40+10 题样本量也不够大，只能说明趋势，不能当定论。

我也不确定的几件事

• kimi-k3 的长上下文优势是否在 100K+ tokens 时依然保持，我没测那么长的（token 费用扛不住）
• gpt-5.6-sol 的多文件重构优势是不是因为它被训练时见过类似的 Express 项目结构，换成 Rust workspace 会不会翻车
• claude-opus-4.8 的"过度重构"倾向能否通过 system prompt 约束住，我试了加"不要修改未提及的接口"但效果不稳定

小结

一句话：claude-opus-4.8 登顶 leaderboard 是真的，但"登顶 = 所有编程场景最强"是假的。多文件重构被 gpt-5.6-sol 反超，长上下文（60K tokens 场景）被 kimi-k3 反超——都是可复现的结果。

选模型别看榜单，看你手里的活儿。