当行业将目光聚焦于 Perplexity、Cursor、Harvey 这些明星 Agent 产品带来的智能革命时，一张 AI Agent 冰山图戳破了行业最核心的真相：AI Agents are 90% Software Engineering, 10% AI。水面之上，是用户可感知的智能交互与产品体验；水面之下，是从算力底座到前端界面的完整基础设施栈，它决定了 Agent 能否从玩具级 Demo 走向生产级商用，能否从单一场景的验证走向全行业的规模化落地。

不同于传统自动化依赖固定规则与传统机器学习实践的线性架构，AI Agent 的核心竞争力，恰恰来自于其模块化、标准化、全链路协同的工程化体系。整个 Agent 生态的生命力，完全扎根于冰山之下的基础设施栈 —— 每一层都有专业的厂商深耕细分场景，解决特定的工程化难题，共同构建起支撑智能体稳定、安全、高效运行的完整技术体系。

冰山最深处：算力与基础设施，Agent 的生存根基

冰山最底部的两层，是 AI Agent 的物理根基，也是所有智能能力得以运行的前提。没有扎实的算力与基础设施底座，再强大的模型与算法都只是空中楼阁。

CPU/GPU 提供商：智能体的动力心脏

传统大模型应用的算力优化，往往聚焦于训练阶段的吞吐量与批量推理的效率，而 AI Agent 对算力的需求，是完全不同的范式：它需要会话级的持续、低延迟、弹性算力供给。

一个企业级 Agent 执行复杂任务时，往往需要经历多轮推理、数十次工具调用、跨系统的状态同步，整个执行链路可能持续数分钟甚至数小时，每一步都需要实时的推理响应，一旦出现算力延迟或中断，整个任务就会彻底失败。CPU/GPU 提供商的核心价值，就是为 Agent 提供适配其运行特性的算力支撑：NVIDIA、Azure、AWS、GCP 等云厂商构建了弹性算力池，可应对 Agent 业务波峰波谷的并发需求；Groq 等厂商专注于低延迟推理芯片，专门优化 Agent 实时交互的响应速度；RunPod 等算力平台则为开发者提供了灵活、低成本的算力调度能力，让中小团队也能落地生产级 Agent。

没有这一层的算力支撑，Agent 的认知能力便没有运行的载体，就像冰山失去了水下的核心冰体，随时会融化崩塌。

基础基础设施层：企业级落地的标准化底座

当 Agent 从个人 Demo 走向企业级规模化部署时，首先要解决的就是分布式运行、高可用、故障自愈的工程化难题。这正是 Infra/Base 层的核心价值所在：Docker、Kubernetes、自动扩缩容虚拟机等工具，为 Agent 提供了企业级的运行时环境。

传统自动化脚本多为单节点运行，故障后重启即可恢复，而 Agent 是有状态的智能体 —— 它的执行链路带有完整的上下文、任务进度与状态信息，一旦节点故障，不仅任务会中断，还可能造成业务数据的不一致与不可逆损失。容器化技术让 Agent 的部署与分发实现了标准化，确保开发、测试、生产环境的一致性；Kubernetes 实现了多 Agent 实例的编排调度与故障自愈，当某个节点出现故障时，可自动将任务迁移至健康节点，同时保留完整的任务上下文；自动扩缩容能力则可应对业务高峰期的并发需求，比如电商大促期间，客服 Agent 的并发量可能翻十倍，底层基础设施可实现无缝扩容，避免服务中断。

这一层，是 Agent 从 “能用” 走向 “规模化商用” 的第一道门槛，也是绝大多数个人 Demo 无法落地到企业场景的核心原因。

数据层：Agent 的记忆与感知体系，智能决策的前提

如果说算力是 Agent 的心脏，那么数据层就是 Agent 的感官与记忆中枢。Agent 的所有决策与行动，都建立在高质量、实时、准确的数据之上，而冰山数据层的四大模块，共同构建了 Agent 完整的数据闭环。

数据库层：有状态智能的核心载体

Agent 与传统 LLM 应用最核心的区别之一，就是它是有状态的智能体，而状态的载体，正是数据库层。

这一层分为两大核心方向：以 Pinecone、Chroma、Drant 为代表的向量数据库，负责存储非结构化的知识、对话嵌入、领域文档，通过 RAG 检索增强生成，为 Agent 提供长期记忆与领域知识支撑，让 Agent 突破大模型的训练数据边界；以 Supabase 为代表的结构化数据库，则负责存储 Agent 的任务执行状态、工具调用记录、用户权限信息、业务流程进度，确保 Agent 的任务可中断、可恢复、可回溯，实现事务级的一致性保障。

Agent 对数据库的要求远高于传统应用：它需要同时满足低延迟的向量检索、高并发的读写请求、强事务一致性。比如一个财务审批 Agent，每一步的审批状态、数据修改都必须准确记录，一旦出现数据不一致，就会造成严重的业务风险。没有可靠的数据库层，Agent 就像只有 7 秒记忆的金鱼，无法完成任何长链路的复杂任务，更无法实现个性化的持续服务。

ETL 层：打通数据孤岛的桥梁

Agent 的智能决策，离不开实时、高质量的数据供给，而企业的核心数据往往分散在 CRM、ERP、OA、本地文件、云存储等异构系统中，格式千差万别，传统的批量、离线数据处理模式，完全无法适配 Agent 的实时运行需求。

ETL（提取、加载、转换）层的核心价值，就是为 Agent 构建了一条连接异构数据源的实时数据管道。DATAVOLO、Needle、verodat 等厂商，专注于解决 Agent 场景的数据处理难题：从多源异构系统中实时提取原始数据，完成数据清洗、格式转换、语义整合，最终转化为 Agent 可理解、可消费的标准化数据格式。比如一个销售 Agent，需要实时同步 CRM 中的客户信息、合同系统中的订单状态、客服系统中的用户反馈，只有通过 ETL 层的实时处理，才能确保 Agent 拿到的信息是准确、实时的，进而做出正确的决策与行动。

没有 ETL 层，Agent 就像被蒙住眼睛的行者，空有强大的推理能力，却无法获取真实世界的有效信息，最终只能输出脱离实际的无效结论。

智能核心层：从模型到协议，定义 Agent 的能力边界

越过数据层，我们便来到了冰山的智能核心区。这一层包含了大众认知中 Agent 的 “AI 部分”，但它远不止基础模型本身，而是从模型选择、路由到协同协议的完整体系，决定了 Agent 的认知上限与协同能力。

基础模型层：Agent 的认知大脑

基础大语言模型（LLM）与小语言模型（SLM），是 Agent 认知能力的核心，也是那 10% AI 部分的核心载体。OpenAI、DeepSeek、Gemini、Claude、Groq 等厂商提供的模型，为 Agent 赋予了推理、规划、自然语言理解、工具调用的核心能力，是 Agent 从 “自动化工具” 升级为 “智能体” 的核心前提。

但行业早已走出了 “模型越大，Agent 越强” 的误区。Agent 的落地，从来不是单一模型的绑定，而是场景与模型的精准匹配：简单的分类、问答、信息提取任务，用低成本、低延迟的 SLM 即可完成；复杂的多步规划、代码生成、逻辑推理任务，则需要能力更强的 LLM 支撑。这种多模型协同的需求，直接催生了上一层的模型路由体系。

模型路由层：Agent 的效率中枢

模型路由，是 Agent 工程化中最核心的效率优化环节，也是企业规模化落地 Agent 的核心前提。

传统 LLM 应用大多绑定单一固定模型，无论任务难易，都使用同一个模型处理，最终导致 “简单任务成本过高，复杂任务能力不足” 的两难困境。而 Agent 的任务具有极强的动态性与多样性：同一场景下，既可能有简单的用户问题分类，也可能有复杂的商业报告撰写，既需要毫秒级的实时响应，也需要低成本的批量处理。

模型路由层的核心价值，就是基于任务特性，自动将请求路由到最合适的模型：martian、OpenRouter、nat.dev 等厂商，构建了完整的模型路由体系，可根据任务的复杂度、成本要求、延迟要求、输出质量要求，自动选择最优模型 —— 简单任务用低成本 SLM，复杂任务用高性能 LLM，延迟敏感场景用 Groq，多模态需求用 GPT-4V。通过模型路由，企业可将 Agent 的整体推理成本降低 80% 以上，同时大幅优化响应延迟，让 Agent 的规模化商用具备了经济可行性。

Agent 协议层：多智能体协同的通用语言

未来的 Agent 世界，一定不是单智能体的单打独斗，而是多智能体的分布式协同。就像人类社会的复杂项目需要多岗位协作，企业的完整业务流程，也需要销售 Agent、财务 Agent、法务 Agent、HR Agent 的协同配合。而协同的前提，是统一的通信协议 —— 这正是 Agent 协议层的核心意义。

协议是互联网的基石，TCP/IP 协议让全球的设备实现了互联互通，而 Agent 协议，就是多智能体世界的 “通信标准”。MCP（模型上下文协议）、A2A（Agent-to-Agent 协议）、IBM ACP 等协议，定义了 Agent 之间的通信规范：如何交换信息、如何传递上下文、如何分配任务、如何同步状态、如何验证执行结果。如果没有统一的协议，不同厂商、不同场景开发的 Agent 就像说着不同语言的人，根本无法实现协同，整个 Agent 生态会变成一个个信息孤岛，无法形成规模化的网络效应。

这一层，决定了 Agent 生态的天花板。它让 Agent 从 “单节点应用”，升级为 “分布式多智能体网络”，为通用智能自动化的落地提供了核心标准支撑。

调度与管控层：让 Agent 从 “会聊天” 到 “能做事”

如果说智能核心层定义了 Agent 的认知能力，那么调度与管控层，就决定了 Agent 能否将认知转化为实际行动，能否在安全、可控的前提下，稳定完成复杂的业务任务。

Agent 编排层：复杂任务的调度中枢

Agent 的核心价值，从来不是单次的问答交互，而是完成复杂、多步骤、非结构化的业务任务。而将用户的自然语言目标，转化为可执行的动作链路，正是 Agent 编排层的核心能力。

当用户下达 “帮我完成 Q1 销售数据分析，生成可视化报告，同步给所有区域经理，并为老板准备汇报 PPT” 的指令时，Agent 需要将这个模糊的目标，拆解为数据提取、清洗分析、可视化生成、报告撰写、邮件发送、PPT 制作等数十个步骤，同时管理步骤间的依赖关系，处理执行中的异常 —— 数据提取失败如何重试？邮件发送异常如何告警？报告内容不符合要求如何迭代？

LangGraph、AutoGen、Haystack、LlamaIndex 等编排框架，正是为解决这个问题而生。它们为 Agent 提供了动态任务拆解、流程编排、依赖管理、异常处理、多 Agent 协同的核心能力，让 Agent 突破了固定流程的限制，实现了自适应的任务执行。不同于传统自动化硬编码的固定流程，Agent 编排可基于大模型的推理能力，动态调整执行链路，应对业务中的不确定性，这也是 Agent 与传统自动化最本质的区别之一。

安全管控双保险：Agent Auth 与用户身份认证

Agent 要进入企业核心业务系统，安全与权限管控是不可逾越的红线，而冰山的两层认证体系，为 Agent 构建了完整的安全双保险。

Agent Auth 层，是针对 Agent 本身的身份与权限管控。AWS AgentCore Identity、Azure Entra Agent ID 等产品，为每一个 Agent 分配唯一的数字身份，基于角色的访问控制（RBAC）体系，定义 Agent 的权限边界 —— 它能访问哪些数据、调用哪些工具、执行哪些操作，都有严格的授权限制，确保 Agent 只能在授权范围内运行，同时实现全链路操作的身份溯源与审计。这一层，解决了 “Agent 能做什么” 的安全问题，避免 Agent 越权操作带来的业务风险与数据泄露。

用户身份认证层，则是针对使用 Agent 的用户的准入管控。Auth0、Okta、OpenFGA 等产品，构建了用户侧的身份验证与权限体系，确保只有授权用户才能访问 Agent 系统，同时根据用户的角色，分配对应的 Agent 使用权限 —— 普通员工只能使用基础客服 Agent，管理者可使用经营分析 Agent，高管可访问核心决策 Agent。这一层，是 Agent 系统的第一道安全闸门，解决了 “谁能使用 Agent” 的准入问题，防止未授权访问与系统滥用。

Agent 可观测性层：破解黑盒难题的 X 光机

Agent 的执行过程，本质上是一个黑盒。传统软件可通过日志、监控精准定位问题，而 Agent 的执行涉及多轮模型推理、动态工具调用、自适应流程调整，一旦任务失败，开发者很难定位问题根源 —— 是模型推理错误？工具调用异常？上下文丢失？还是权限不足？

可观测性层，就是 Agent 的 “X 光机”。Arize、LangSmith、Langfuse、Helicone 等产品，全程追踪 Agent 的完整执行链路，记录每一次模型调用的输入输出、每一次工具调用的参数与结果、每一步的决策逻辑、任务的执行耗时与状态，为开发者提供完整的日志、链路追踪、指标监控与反馈闭环。

这一层的价值，不仅是故障排查与调试，更是 Agent 的持续优化。通过可观测性数据，开发者可精准发现 Agent 的短板，优化 Prompt、流程编排、模型选择，同时基于用户反馈与执行结果，构建持续迭代的闭环，解决 Agent 的长尾故障问题。绝大多数 Demo 跑一次成功，跑 100 次就频繁出错，核心原因就是缺少完善的可观测性体系，无法发现和解决长尾场景的问题。这一层，是 Agent 从 “一次性 Demo” 走向 “生产级稳定应用” 的核心保障。

交互与能力延伸层：触达用户与世界的最后一公里

越过管控层，冰山已经接近水面，这两层体系，分别让 Agent 拥有了连接世界的行动能力，与触达用户的交互能力。

工具层：Agent 连接世界的手和脚

大模型本身存在天然的能力边界：它的训练数据有时间截止点，无法获取实时信息，也无法直接与外部系统交互，只能完成认知与推理工作。而工具层，就是 Agent 突破能力边界，将认知转化为实际行动的桥梁。

Google Search、DuckDuckGo 等搜索工具，让 Agent 可获取实时的互联网信息，突破训练数据的时间限制；各类业务 API 工具，让 Agent 可直接操作企业的 OA、CRM、邮件系统，执行审批、发送邮件、数据修改等实际操作；行业专用工具，则让 Agent 可适配法律、医疗、金融等垂直场景的专业需求。

没有工具，Agent 就只是一个会聊天的 “嘴炮”，只能完成问答交互，无法落地任何实际业务。工具层的标准化与丰富度，直接决定了 Agent 的能力边界，也是当前 Agent 生态中发展最快的领域之一 —— 越来越多的厂商提供标准化的工具接口，让开发者无需逐个对接 API，即可快速为 Agent 赋予丰富的行动能力。

记忆层：让 Agent 从通用工具变成专属助理

记忆，是 Agent 实现个性化与持续学习的核心，也是让 Agent 真正 “懂用户” 的关键。

传统 LLM 对话是无状态的，每一次会话都是独立的，无法记住用户的偏好、历史交互与过往经验。而记忆层，为 Agent 构建了完整的记忆体系：短期记忆存储当前会话的上下文，支撑多步推理与任务执行；长期记忆存储用户的长期偏好、历史交互记录、领域知识、过往的成功与失败经验，让 Agent 可实现个性化服务，同时从历史经验中学习，优化未来的执行策略。

zep、mem0、cognee、Letta 等产品，专注于 Agent 记忆体系的优化，解决了记忆的存储、检索、过滤、更新的核心难题，让 Agent 可精准提取有效记忆，避免上下文冗余，同时实现长期的个性化适配。一个优秀的个人助理 Agent，会记住你喝咖啡只喝美式、写邮件偏好简洁风格、开会不喜欢被打扰，无需你每次重复说明，就能自动适配你的需求。记忆层，让 Agent 从冰冷的通用工具，变成了有温度、懂用户的专属智能助理。

前端层：触达用户的最后一公里

前端层，是冰山唯一直接与用户接触的部分，也是 Agent 技术触达用户的最后一公里。无论水下的技术栈多么强大，用户最终都是通过前端界面，感知 Agent 的能力与价值。

Streamlit、Gradio 等框架，让开发者可快速搭建轻量级的 Agent Demo 与原型，实现快速验证与迭代；Flask、React 等技术栈，则为企业级 Agent 应用提供了高性能、可定制的前端开发能力，打造流畅、自然、高效的人机交互体验。前端层的核心价值，是把复杂的 Agent 执行逻辑，封装成简单易用的交互界面，让非技术用户也能低门槛使用 Agent 的强大能力。

很多 Agent 产品技术能力极强，却无法获得用户认可，核心原因就是前端体验太差，操作门槛过高，用户无法感知到技术的价值。这一层，决定了用户对 Agent 的第一印象，也决定了技术价值能否真正传递给终端用户。

水面之上：产品的成功，从来都是水下体系的胜利

冰山露出水面的部分，是 Perplexity、Glean、Cursor、Harvey 这些家喻户晓的明星 Agent 产品。它们是用户可直接感知的价值载体，也是整个 Agent 生态的最终成果。

但我们必须清醒地认识到：这些产品的成功，从来不是单点的 AI 算法突破，而是水下整个工程化体系的完美协同。Cursor 之所以能成为全球最受欢迎的 AI 代码编辑器，核心不是它绑定了多么强大的模型，而是它把模型路由、代码工具、记忆体系、可观测性、前端交互完美整合，为开发者带来了流畅的 “AI 结对编程” 体验；Harvey 之所以能在高合规要求的法律领域落地，核心是它构建了完善的法律数据 ETL 体系、领域知识库、合规权限管控与专业工具链，满足了法律场景的严苛要求。

行业最大的误区，就是把 Agent 等同于 “大模型 + Prompt”，认为只要模型足够强，Agent 就能成功。但现实是，大模型只是 Agent 的 10%，剩下的 90%，是冰山之下全链路的软件工程体系。Agent 的竞争，从来不是模型的单点竞争，而是整个工程化技术栈的体系化竞争。

终局：Agent 的时代，是工程化的时代

AI Agent 的时代，不是一个只靠 AI 算法单点突破的时代，而是一个靠软件工程体系化创新的时代。

传统互联网的发展，已经验证了这个规律：今天我们能快速开发一个互联网应用，不需要自己搭建服务器、编写数据库、实现通信协议，正是因为整个互联网基础设施栈已经高度成熟、标准化、模块化。而 AI Agent 的发展，正在走同样的路：未来的 Agent 开发，不会再需要开发者从零搭建完整的技术栈，而是像搭积木一样，选择不同层级的成熟组件，快速组装出适配场景的 Agent 应用。

这个过程的核心驱动力，就是冰山之下的基础设施栈的成熟与标准化。越来越多的专业创业公司，在每一个细分层级深耕，把每一个模块的能力做到极致，同时通过标准化的接口，实现跨层级的协同，共同构建起一个开放、完整、繁荣的 Agent 生态。

那些只盯着水面上的 10%，只追逐大模型的单点突破的人，最终会错过 Agent 时代的真正红利。只有真正理解冰山之下 90% 的软件工程体系，把每一层的技术做扎实，把全链路的协同做完善，才能真正打造出能落地、能规模化、能创造实际商业价值的 AI Agent 产品。

AI Agent 的终局，从来不是一个无所不能的超级 AI，而是一个由完善的工程化基础设施支撑的、模块化的、开放的、安全的智能体网络。它会渗透到每一个行业、每一个业务流程，真正实现通用的智能自动化，而这一切的根基，永远是冰山之下，那 90% 的软件工程。