别再手动点来点去了，AI已经学会"看屏幕"了。

---

一个即将改变你日常的场景

想象一下：

你躺在床上，对着手机说一句—— “帮我订一张明天上午10点左右去上海的高铁票，二等座。”

然后你继续刷剧。手机自动解锁，打开12306，填写出发地、目的地、日期，筛选车次，选座，填乘客信息，提交订单……等你回过神，支付页面已经等着你了。

这不是科幻。这是 GUI Agent，2026年AI领域最炙手可热的赛道。

---

什么是 GUI Agent？一句话讲清楚

GUI Agent（图形用户界面智能体），就是能像人一样"看屏幕、动鼠标、点按钮"的 AI。

它不是通过代码接口调用软件功能，而是真的去操作界面——看截图，理解内容，决定点哪里，然后真的去点。

它和传统自动化有什么不同？

很多人会想到 RPA（机器人流程自动化）。但两者的差距，就像"录音机"和"真人助理"：

维度	传统 RPA	GUI Agent
工作方式	按固定选择器（XPath/ID）机械回放脚本	视觉理解 + 语言模型推理
界面变化怎么办	直接崩溃，重写脚本	自适应，认的是"搜索框"不是"第3个div"
任务规划	人工一步步写死	自然语言描述目标，AI自己拆解步骤
跨平台	每个平台单独开发	一套视觉方案，天然跨端
维护成本	极高	极低

一句话总结：RPA 是脆弱的自动化，GUI Agent 是智能的自主化。

---

为什么偏偏是现在火了？

三个技术突破，恰好在这两年一起炸了：

1. 多模态大模型终于"睁开了眼"

GPT-4o、Claude 3.5 Sonnet、Qwen-VL 这些模型，现在不仅能看懂图，还能理解界面——“这是一个登录按钮”“那里有一个搜索框”。GUI Agent 的"眼睛"，有了。

2. 定位能力质的飞跃

早期模型能认出按钮，但说不清在哪。现在 GUI-Owl、Qwen-VL 等模型能直接输出屏幕坐标（x,y）——“搜索框在坐标(540, 200)”。Agent 不仅能"看见"，还能"点准"。

3. 推理能力的代际提升

Chain-of-Thought（思维链）让 Agent 有了"大脑"。一句"帮我订明天的高铁票"，能自动拆成：打开12306 → 点"车票预订" → 输入出发地 → 输入目的地 → 选日期 → 搜索 → 筛选 → 选车次 → 下单 → 填乘客信息 → 确认支付。每一步还有自我反思和纠错。

---

拆开一个 GUI Agent，里面长什么样？

一个完整的 GUI Agent 系统由三个模块组成闭环：

感知（Perception）→ 推理（Reasoning）→ 执行（Action）

▲ 图1：GUI Agent 感知-推理-执行三层闭环架构

感知层：怎么"看"屏幕？

两条技术路线：

路线一：结构化感知——走 DOM 树或无障碍树，拿的是 App 的"建筑蓝图"。精准高效，但遇到游戏、Canvas 渲染、远控软件就瞎了。

路线二：纯视觉感知（前沿方向）——直接截图喂给视觉模型，像人眼一样看。通用性极强，只要能显示的画面都能理解。而且有"语义弹性"——按钮换颜色、挪位置都没事，AI 认的是"搜索按钮"的语义，不是像素。

推理层：怎么"想"步骤？

三个核心能力：

任务分解：把模糊指令自动拆成操作序列。

思维链：每步操作前，Agent 会"自言自语"——"我看到页面有’车票预订’、‘订单查询’、‘车站大屏’三个选项，我需要点击’车票预订’。"这种显式推理既提高了可解释性，又减少了错误累积。

反思纠错：点了"查询"没反应，反而弹出"请选择出发日期"——Agent 立刻意识到漏了步骤，调整策略重来。

执行层：怎么"动手"？

操作动作非常有限且精确：点击、双击、长按、滑动、输入文字、滚动、拖拽。

但这里有一个关键细节——坐标系转换。视觉模型通常输出归一化坐标（0-1000），但实际屏幕是 1920×1080。执行层需要精确映射：除以1000，乘以实际宽高。再加上不同设备的 DPI、系统缩放比，复杂度拉满。

跨平台适配也很头疼。Android 走 ADB（adb shell input tap 500 1000），iOS 走 WebDriverAgent，桌面走 pyautogui。同一个"点击"操作，底层实现天差地别。

---

2024-2025：GUI Agent 框架大爆发

这两年各大科技公司和研究机构纷纷开源了自己的 GUI Agent 框架，竞争异常激烈：

▲ 图2：主流 GUI Agent 框架全景对比，从多个维度评估各框架的能力

选框架时，重点关注三点：支持哪些平台、是否开源可私有化部署、以及真实场景下的任务成功率。

---

这东西到底能干嘛？五大落地场景

🚗 智能座舱

开车时语音说"导航到最近的咖啡店，到店前10分钟帮我下单一杯拿铁"。跨 App 协同 + 时间逻辑，传统方案根本做不了。

🧪 软件测试

Selenium 那种界面一改就挂的自动化测试可以退休了。GUI Agent 靠语义识别自适应 UI 变化，还能做视觉回归测试、探索性测试。

🏢 企业 RPA 升级

跑了二三十年的老旧系统没有 API？没关系。从 Excel 取数据 → 填 ERP 系统 → 发邮件通知，全自动跨系统串联。

📱 个人生活助手

定时多平台发社交媒体、每日新闻天气日程汇总、健身饮食记录——那些重复的数字劳动，丢给 Agent。

♿ 无障碍辅助

视障用户或行动不便者，用语音完全操控手机，智能读屏，复杂操作变简单指令。这是真正有社会价值的方向。

---

但别急着 all in，三大硬伤还没解决

1. 安全风险与幻觉

你让它"清理一下桌面"，它可能理解为"删除所有文件"。转账场景下多输一位数字，损失就是真金白银。

目前的补救方案：高风险操作强制人工确认、详细操作日志+回滚、沙箱测试。但这些都是权宜之计。

2. 成本与效率

每一步操作都要调一次大模型 API，复杂任务动辄几十步。云端 API 成本线性增长，本地小模型又牺牲准确率。业界在探索操作缓存、模式复用、混合架构（简单任务走 RPA，复杂任务走 AI）。

3. 准确率瓶颈

说实话——目前最好的系统，在真实场景下的任务成功率也只有 40-50%。

复杂界面的元素定位、动态内容（广告弹窗、验证码）、长链条错误累积……都是硬骨头。从 50% 提到 90% 的商业级可靠性，“可能还需要一段时间”。

---

实战一：零门槛体验，30秒让浏览器变成 AI 电脑

说完理论，来点实际的。你不需要装任何东西，打开浏览器就能体验。

ModelScope 在线 Demo（推荐）：
https://modelscope.cn/studios/wangjunyang/Mobile-Agent-v3

阿里云百炼：
https://bailian.console.aliyun.com/next?tab=demohouse#/experience/adk-computer-use/pc

▲ 图3：Mobile-Agent-v3 在线 Demo 界面 —— 左上选设备，右侧是云端桌面，左下输入指令

界面设置三步走：

1. 设备选择：左上角下拉菜单选"电脑"
2. 桌面预览：右侧是分配给你的 Windows 10 云桌面，预装了 Office、浏览器
3. 交互区：左下输入指令，上方对话框看 AI 的思考过程

试试这些任务：

入门级："把系统颜色改成浅色模式。"观察 AI 能否走 开始菜单 → 设置 → 个性化。

进阶级："在 Edge 浏览器搜索阿里巴巴的股价，然后在 WPS 里新建表格，把公司名和当前股价填进去。"观察跨软件上下文切换的准确度。

写好提示词的三个技巧：

1. 明确应用边界——不要说"写一个介绍"，要说"在 WPS 文档中，写一个介绍……"
2. 步骤链式拆解——不要挤在一句话里，改成"步骤一…步骤二…步骤三…"
3. 视觉属性描述——用视觉语言：“点击右上角那个蓝色的保存按钮”

在线 Demo 适合快速体验，但有隐私限制（云端虚拟机）和功能限制（只有预装 App）。要真正用起来，还得看本地部署。

---

实战二：把 AI 装进你的安卓手机（AutoGLM 本地部署）

目标：在你自己的电脑上部署 AutoGLM，连接你的安卓手机，让 AI 真正操控你的真实应用。

你需要准备：

• 一台能跑 Python 的电脑（普通笔记本即可，AutoGLM 支持云端 API）
• 一部 Android 7.0+ 手机（不需要 root，但 iPhone 不行）

第1步：安装 Open-AutoGLM

git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM
pip install -r requirements.txt
pip install -e .

在项目根目录创建 .env 文件：

GLM_API_KEY=你的API密钥

第2步：手机开启调试模式（关键！）

▲ 图4：Android 手机 ADB 连接四步流程 —— 开启开发者模式 → USB调试 → 安装ADB键盘 → 验证连接

① 开启开发者模式：「设置」→「关于手机」→ 连续点击「版本号」7次

② 开启USB调试：回到设置 →「开发者选项」→ 开启「USB调试」

③ 安装 ADB Keyboard（必须！否则无法输入中文）
下载：https://github.com/senzhk/ADBKeyBoard/raw/master/ADBKeyboard.apk
安装后在手机输入法设置中启用并切换到 ADB Keyboard

④ 验证连接：USB 连电脑，手机上点"允许"，终端输入：

adb devices

看到 device 就成功了。unauthorized 说明手机授权弹窗没点。

安装 ADB 工具：

# macOS
brew install android-platform-tools

# Linux (Ubuntu/Debian)
sudo apt install android-tools-adb

第3步：跑起来！

# 使用智谱 BigModel API
python main.py \
  --base-url https://open.bigmodel.cn/api/paas/v4 \
  --model "autoglm-phone" \
  --apikey "你的密钥" \
  "打开美团搜索附近的火锅店"

执行后你会亲眼看到：AutoGLM 截屏 → 图片发模型分析 → 识别美团图标坐标 → 发送点击指令 → 应用打开 → 再截屏定位搜索框 → 调用 ADB Keyboard 输入"附近的火锅" → 点击搜索。

整个过程 15-20 秒。云 API 每步"思考"约 2-3 秒，本地 GPU 能压到约 1 秒。

---

总结：我们正在经历交互范式的转变

从在线 Demo 的一键体验，到自己手机上跑起来的 GUI Agent——这不只是两个实战案例，这是一次人机交互范式变革的预览。

当前的 GUI Agent 能应付大部分日常任务，但在准确率、推理速度和成本上还有很大提升空间。

不过方向已经无比清晰：

当视觉模型继续进化，当端侧推理芯片逐渐普及，GUI Agent 将成为下一代人机交互的默认方式。

每个人都会拥有一个真正智能的数字助手——它理解你的意图，跨越应用和平台的边界，帮你完成那些重复而不创造价值的事情。

而你，只需要说出你想要什么。

这个未来，已经在路上了。

---

参考资料

• Mobile-Agent-v3 论文：https://arxiv.org/abs/2508.15144
• Open-AutoGLM 开源仓库：https://github.com/zai-org/Open-AutoGLM
• UI-TARS 项目：https://github.com/bytedance/UI-TARS

---

本文内容整理自 Datawhale《Hello Agents》教程 | 关注我们，获取更多 AI 前沿实战内容