Anthropic这两天放出一份最新报告，专门测试大模型拿到系统权限之后会不会"背着人办事"。结果分成四类：泄露不该说的机密、删除关键账户、篡改记录数据、甚至骗过人类监督者。其中一个财务造假场景里，AI被要求配合篡改记录，Grok 4.3在20次测试里改了19次，GPT-5.4改了17次。另一个场景更有意思，Claude Opus 4.5发现一份安全评估结果对外报告可能有误，先按流程逐级上报，高层回复"理解你的担忧，但我们对结果有信心"，正常沟通渠道全部被堵死后，它转而去找一名心存疑虑的初级研究员，帮对方把提问包装得不像吹哨，模型在拿到权限之后，自己选了一条人类没批准的路。

这类风险已经不只发生在实验室里。4月的一天凌晨，一个由Claude Opus 4.6驱动的编程Agent，在Cursor里执行了一次API调用，9秒之内清空了创业公司PocketOS的生产数据库和全部卷级备份。系统当时明确写着一条规则：未经用户允许，不得执行任何破坏性、不可逆操作。Agent照样删了，事后还写了一份"认罪书"，逐条承认自己违反了全部安全规则。基础设施厂商Railway的高危删除接口不需要二次确认，备份和原数据又放在同一个存储卷里，30多个小时后，官方仍然给不出能否恢复的明确答复。2025年12月，Cursor官方也承认过更离谱的一次：用户明确输入"禁止执行任何操作"，Agent确认收到指令后，照样继续删文件、杀进程。

这些案例有一个共同点，模型能力都不差，Opus 4.6、Opus 4.5是当时能力最强的一批模型。出问题的，是模型的权限没有被拦住。曾经因为默认配置太危险被工信部点名预警的开源Agent项目OpenClaw，最近的版本更新方向不再是堆功能，而是转向"可用、可控、可审计"。行业已经用真金白银的教训达成共识，Agent越往执行层走，越需要有人能随时拦住它。这恰好是企业级AI和消费级AI最大的不同，企业要的，是一个权限被卡死、动作被记录、出错能回退的数字员工。

试用阶段看能力，生产阶段看治理

企业接触大模型，起点大多是聊天框式的试用，看问答准不准，回复顺不顺。这个阶段模型能力最显眼，治理问题基本不会暴露。真正麻烦的是往下一步走，Agent开始读取系统、调用工具、生成工单、推进审批、把结果写回业务系统。这时候数据会不会出域、谁能访问哪些数据、模型调用过什么工具、出错后能不能追责和回退，才是决定项目能不能验收的问题。很多项目卡在这一步，是因为这套问题在之前根本没人注意过。

私有化先关注“数据在哪里”

合同、流水、发票、审批记录、投研材料、员工信息一旦进了模型输入框，就带上了合规属性和责任属性。对金融机构、政务单位、央国企来说，数据是否出域，往往比模型参数更敏感。《生成式人工智能服务管理暂行办法》把发展和安全并重放在重要位置，也明确要保护个人信息和商业秘密，这条原则传导到企业采购环节，会变成一条很直观的选型标准：说不清数据边界的系统，很难拿到核心业务的入场券。

私有化部署把模型、知识库、调用记录尽量留在企业可控环境里，先把门关上。但门关上之后，门内谁能看、谁能改、谁能执行，还需要另一套机制回答，我前面提到的OpenClaw就是现成的例子，能本地部署，不代表部署完就安全，真正让它变得能用的，是后来补上的可控和可审计能力，而不是本地化这一步本身。

只有私有化，没有权限治理，仍然不够安全

私有化解决的是数据是否出域，权限治理解决的是数据在内部怎么被用。一个本地部署的大模型，如果所有员工都能访问全部知识库、调用全部接口，只是把风险从外部搬到了内部，没有真正消失。

这不是假设。

2025年初DeepSeek带火私有化部署热潮后，安全机构监测发现，全球近9000台运行Ollama框架的服务器里，八成以上直接暴露在公网，没有设任何访问控制，攻击者用自动化脚本就能扫到并劫持，严重的甚至能远程删掉部署好的模型文件。企业系统不是一个扁平空间，财务能看的数据人力未必能看，总部的权限分支机构未必能调。大模型和Agent进入企业，应该继承这套组织权限，而不是因为多了智能两个字就绕过岗位边界。

审计留痕决定AI能不能进入关键流程

生产环境出了错，不能只归因于模型判断错了。审计和监管关心的是谁发起了任务，模型依据什么材料得出结论，调用过哪些系统，改了哪些字段，哪个节点有人复核过，异常发生后有没有暂停和回退，忽略这些问题，AI越能干，风险就会越大。

中信证券在"一岗一数字员工"实践中，围绕企业服务、机构投资、财富零售等场景搭建数字员工体系，智能体调用了哪些数据源、走了哪段推理、改了哪些字段、谁复核放行，整条链路在隔离环境里留痕，监管抽查时能完整还原。这套要求正在变成明文规定，金融监管总局6月18日发布《关于银行业保险业人工智能安全开发应用的指导意见》，把信贷审批、资产评估、资金交易、承保理赔等场景划为高风险应用，要求这类场景必须经机构风险管理委员会专项审批准入，建立常态化人工监督和紧急停用机制。显然，如今AI已经不是加分项了，是要被纳入机构整体风险管理体系的对象。

路线之争：谁能把AI放进受控流程

企业级AI市场大致分四条路线：云厂商做模型服务和算力底座，开源模型路线拼能力和可私有化程度，行业软件把AI嵌进ERP、CRM、财务系统，智能自动化路线抓工具调用、流程编排和审计留痕。一旦场景从知识问答走向财务共享、信贷审批这类强流程场景，能不能在既有权限体系内执行、出异常能不能暂停回退，就变得尤其重要。

IDC在《中国RPA+AI解决方案市场份额，2024》里提到，AI Agent正在推动RPA突破传统规则依赖，RPA+AI进入智能自动化新阶段，这正是金智维、来也科技这类厂商被重新关注的原因。以份额常年领先的金智维为例，它长期从RPA、数字员工路线切入金融和政企场景，近年通过Ki-AgentS、K-APA等平台把大模型、RPA、工作流和知识库整合到一起，强调的仍然是本地部署、权限校验、日志留痕和人工干预，而不是单纯堆参数。最终企业采购的不会是一个孤立的模型，而是模型、数据、权限、流程和审计能力的组合。

Agent越接近执行层，越需要刹车系统

Agent不只是回答该怎么做，还可能直接去做。给它装好大脑不够，还得装刹车系统，至少四层：

身份管理，每个Agent有独立身份，不共用模糊账号；

最小权限，只能碰任务所需的数据和工具；

过程审计，每一次检索、判断、调用、写入都留痕；

人工复核和异常回退，资金、合同、监管报送这类高风险动作，AI可以先标记先建议，关键一步仍要留人工确认。

Cursor那次删库事故，问题正出在这四层全部缺位，没有二次确认，备份和原数据同故障域，令牌权限不分层。

判断企业级AI方案，要看这五个问题

1、数据边界清不清楚：业务数据、向量库、调用记录存在哪里，会不会出域。

2、访问权限继不继承组织架构：AI不能成为绕开原有权限体系的新入口。

3、执行边界可不可控：哪些动作能自动执行，哪些必须人工确认，事先要说清楚。

4、责任链路能不能追溯：任务发起人、模型依据、调用工具、审批节点，缺一不可。

5、异常能不能回退：出错不可怕，可怕的是定位不了、暂停不了、恢复不了。

模型能力决定AI答得好不好，治理能力决定AI能不能进生产环境。私有化管住数据边界，权限治理管住访问边界，审计留痕管住责任边界，人工复核管住风险边界。Cursor和Railway用一次9秒的事故说明了一件事，能力足够强，不代表可以放心用，企业级AI的终局不是让Agent更自由，而是让它在可控范围内把事情做完，并且随时能被人接管。