最近一直在研究AI辅助渗透测试的技术，接下来会输出三篇文章来简单讲解一下，在工作当中如何使用AI来辅助进行渗透测试。

文章会分为三篇，第一篇也就是本篇先简单介绍一下，如何选用大模型。

在现实的场景当中无法忽视的问题就是价格，不论是个人使用还是企业使用，都要考虑大模型每百Token的价格，需要注意的是不仅仅是输入要花费Token，输出也是要花费Token的，其次在网络安全的使用场景当中，通常需要大模型具备网络搜索能力和输入内容理解能力这两项能力，而接下来的要考虑的指标就是大模型的基础能力，分为以下5项：

1、推理能力，推理能力决定了模型是否能理解攻击链、推断漏洞利用路径。常见的测试基准为MMLU / MMLU-Pro、GPQA、ARC (AI2 Reasoning Challenge)

2、工具调用能力，LLM agent通常需要测试模型能否计划、推理、调用工具并正确完成多步骤任务。常见的测试基准为Tool Correctness、Function Name Accuracy、Parameter Hallucination Rate、Parameter Missing Rate、Progress Rate、Success Rate以及BFCL v2

3、上下文理解能力与处理能力，决定模型一次能处理多少信息以及处理长文档（如详细渗透测试报告、复杂威胁情报）时有效利用上下文信息的能力，评估指标为长文档问答准确率

4、Token 效率与延迟，有些模型在API使用效率方面差异巨大，需要衡量Token消耗量和工具调用次数。最好的模型能用更少的步骤解决挑战（节省时间和API调用），一个用一半Token就能发现漏洞的AI运行成本更低，现实场景中响应也更快，常见的测试基准为Token使用量和延迟。

5、事实性与幻觉抑制，在网络安全领域提供准确信息，避免编造虚假漏洞、错误CVE、不存在工具或错误配置建议的能力。评估指标包括：事实性错误率、幻觉发生率

按照优先级去排序为：

值得注意的是，研究发现模型展现出的攻防知识比它们通过工具调用表达出来的要多，这种"知识-执行差距"说明模型周围的agent框架和工具设计可能比基座模型本身更重要。 一个设计良好的agent框架配合较弱的模型，可能比一个更强的模型配合极少的工具支持表现更好

那么接下来就有新的问题了，这些指标这么复杂，怎么进行测试呢？经费有限，测试这些要花费多少Token呢？

这里就需要借助公共资源来辅助我们进行大模型的挑选，接下来笔者会给出6个网站并说明他们各自使用的方向，需要说明的是，这些网站并没有一个专门针对渗透测试的指标项给我们进行参考，只能综合价格以及模型的基础能力去选用大模型。

1、Artificial

对比并排名超过 100 个 AI 模型，涵盖智能水平、价格、性能、速度（输出速度 tokens/s 和延迟 TTFT）、上下文窗口等关键指标。这是最直观的"性价比一览表"，非常适合你在价格和性能之间做权衡。

2、 LLM

该排行榜按 LLM Stats Score 排名，将 GPQA、SWE-Bench Verified、coding-arena 表现和价格聚合成一个可比较的 AI 排名。[2]排名随着新的基准测试结果持续刷新。[2]可以跨推理、编码、数学、视觉和工具使用等维度对比 AI 和 LLM 基准测试，每个基准都有独立验证的实时排行榜，排名覆盖 300+ 模型。

3、BenchLM

BenchLM 2026 排行榜对 79+ 模型进行临时排名，追踪 281+ 个大语言模型，横向对比 296 个基准测试——从 SWE-bench、LiveCodeBench（编码）到 GPQA Diamond、MMLU-Pro（知识与推理）。[8]它还提供了非常实用的功能：LLM 定价比较、替代方案查找器、个性化推荐以及成本计算器（估算每月 API 开销）。

4、 Vellum

对比来自 OpenAI、Anthropic、Google 以及开源模型的最新排名，涵盖推理、浏览器与计算机使用、编码、自动化等维度，并附有定价和速度数据。特别值得注意的是它包含了自动化基准（评估模型使用工具完成多步骤工作流的能力）、Agentic 网络搜索基准（测试模型浏览和提取网页信息的能力）、终端与工具使用基准等。

5、LiveBench

无污染的 LLM 基准测试，涵盖 7 个类别的 23 个客观任务，每六个月刷新一次。可以选择版本、比较细分到子任务的分数，并查看每个模型的运行成本。[5]它最大的亮点是将成本与质量并排呈现：因为单独的分数不能告诉你一个模型是否值得。[5]

6、OpenRouter

基于基准测试和来自数百万用户的真实使用数据的 LLM 排名和 AI 排行榜，可以看到开发者实际使用的模型。[6]这个网站特别适合看实际用户偏好而非纯实验室数据

根据笔者自己的评估，从性能方面来讲 Claude > open AI / google > 智谱 > 阿里千问 / Kimi > Deep seek，还有一些例如腾讯混元、小米笔者没有使用过，就不评价了。

从适用性也就是加上价格这个指标 google / 智谱 > Open AI > 阿里千问 > Claude > Deep seek，需要注意的是Open AI 在早期有道德审查一类的限制虽然性能强劲但是容易出现拒绝提供渗透方面回答的情况，而智谱在国产系统的渗透方面有自己的适配，因此把智谱放在与google同一层面，若单论编程和基础能力Google Gemini是要强于智谱 GLM，而Claude 不论是Sonnet 还是opus亦或者Fable 性能都很强大，但是价格也来到了普通人完全用不起的程度。

这里笔者给出笔者自己的一个结论，在渗透测试方面，结合模型基础能力和价格方面，若有条件使用Gamini，若无条件则推荐智谱，若使用deepseek则推荐使用Pro。

下一篇讲解如何配置以及如何使用AI进行渗透测试辅助。