Fable 5.1发布仅24小时，A社又放大招了！

今天，Anthropic宣布全面升级Claude「计算机使用」能力。

现在扔给它一个任务，Claude就能自己打开软件、点击按钮、输入内容，在多个应用之间来回操作。

最大的变化是，这些操作直接在后台完成。

一个人，一台电脑，两条工作流，终于可以同时跑了。

目前，Computer Use处于Beta测试阶段，已面向Claude Pro和Max订阅用户开放，macOS版首先体验。

这一次，AI终于不再霸占屏幕

Claude「计算机使用」功能，对于每个人来说并不陌生。

早在今年3月，它就随Dispatch一起上线了。

它的工作原理本质上是一个Loop：截图→模型看图→输出坐标→系统去点。

这种让AI接管电脑的方式，体验多少有些尴尬——

任务是交出去了，鼠标和键盘也跟着一起「上交」。AI每点一次，你的光标就被拽走一次。它干活的几分钟里，人只能在旁边看着。

这一次，在macOS 15及以上系统中，Claude默认通过后台窗口工作，不占用用户正在使用的鼠标和键盘。

你可以继续写文档、回消息，Claude则在另一边打开App、整理文件、测试程序。

如果检测到用户正在输入，Claude还会主动等待。

只有任务必须接管整个屏幕时，它才会在每次会话中首次发起前台操作前征求许可。

Claude操作电脑背后大揭秘

从Anthropic公开的文档看，Claude的桌面操作，仍然建立在经典的「感知—决策—执行—反馈」循环上。

每执行一步，系统会截取当前窗口画面，将截图交给视觉模型理解。

Claude识别按钮、输入框、菜单和页面状态，随后生成点击坐标、键盘输入或滚动等动作。

桌面端执行动作后，再返回一张新截图。

Claude判断操作是否成功，接着规划下一步。如此循环，直到任务完成，或者遇到需要用户确认的问题。

整个过程可以简化为：

截取屏幕 → 理解界面 → 选择动作 → 执行操作 → 检查结果

这也是GUI智能体，比普通工具调用更难的原因。

API返回的是结构化数据，字段含义固定，屏幕只提供像素。同一个「提交」按钮，可能出现在不同位置、不同尺寸和不同主题中，还可能被弹窗遮住。

只要窗口移动、页面加载变慢，或者某次点击没有生效，后续步骤就可能全部偏离。

这一次的更新，全部覆盖了Cowork和Claude Code场景。

当一个人下达任务后，Claude会采用一套高度优化的三级降级执行架构——

• API连接器（Connectors）：任务涉及Gmail、谷歌和微软办公全家桶，Claude优先通过底层API交互，数秒完成；
• 内置浏览器（Browser）：没有直连API时，Claude接管内置浏览器，在网页端自动化操作；
• 屏幕交互（Screen Interaction）：以上两个都不满足时，Claude便会触发终极「计算机使用」能力。

不得不说，在macOS 15环境下，屏幕交互迎来了体验上的质变。

人机并行时代开始了

过去两年，AI智能体一直在学习使用工具。

先是调用搜索和代码解释器，后来接入浏览器、邮箱与办公软件，现在终于开始直接进入操作系统。

Claude这次升级，表面上解决的是「不抢鼠标」，背后争夺的却是桌面操作系统里的第二个工作席位。

最后

我们整理出这套 AI 大模型 突围资料包：

    ✅ 从零到一的 AI 学习路径图
    ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
    ✅ 百度/阿里专家闭门录播课
    ✅ 大模型当下最新行业报告
    ✅ 真实大厂面试真题
    ✅ 2025 最新岗位需求图谱

所有资料 ⚡️ ，朋友们如果有需要 《AI大模型入门+进阶学习资源包》，下方扫码获取~

资料展示

下面是我整理的AI大模型学习资料和工具包预览，适合收藏后按主题逐步学习。

需要这份AI大模型资料清单的话，在评论区回复「清单」即可；我会根据大家的问题继续补充对应的实战内容。