OpenAI桌面代理Codex新增“锁屏运行”功能,允许Mac锁定或息屏时通过远程指令操控本地应用,打破传统需解锁且屏幕常亮的限制。核心突破在于开发者无需“看守”电脑,即可执行长时复杂工程任务,如大型代码编译或GUI自动化测试。
谷歌Gemini推出任务自动化功能,AI助手从对话工具升级为执行代理,可接管手机屏幕直接操作,如点外卖等,实现“无人驾驶”体验。
OpenClaw是一款以红色龙虾为图标的AI智能体工具,近期在朋友圈走红。它具备强大的“执行力”,能自主识别屏幕并操作鼠标键盘,实现跨系统自动化办公,显著提升工作效率。在生物医药领域,OpenClaw将原本耗时数小时的数据处理工作缩短至分钟级别,正悄然改变行业职场生态。
谷歌正测试“屏幕自动化”功能,让AI助手Gemini直接操控安卓手机,通过简单指令完成下单、预约等日常任务。该功能在谷歌应用17.4测试版中亮相,代号“倭黑猩猩”,利用屏幕自动化技术执行应用内操作。
Anthropic
$105
Input tokens/M
$525
Output tokens/M
200
Context Length
Xai
$1.4
$10.5
256
Bytedance
$0.8
$8
Openai
$8.75
$70
400
$3.5
$12
128
Alibaba
$0.5
-
Huawei
32
$0.7
$2.8
1k
Google
$0.35
131
$21
Moonshot
$5
$20
$2
$10
8
$30
Baidu
$1.05
$4.2
$1
ScreenPilot是一个通过MCP服务器让LLM全面控制设备的工具,提供屏幕自动化工具包,支持屏幕捕获、鼠标键盘控制等功能,适用于自动化、教育和娱乐。
Bridge MCP是一个基于模型上下文协议(MCP)的Windows PC控制服务器,允许任何AI通过本地代理程序完全控制计算机,包括应用程序控制、鼠标键盘操作、屏幕捕获、系统命令执行、浏览器自动化和剪贴板管理等功能。
一个基于MCP协议的桌面自动化服务,提供鼠标键盘控制和屏幕截图功能
一个基于Appium的iPhone自动化MCP服务器,支持设备信息获取、应用控制、UI交互和屏幕截图等功能。
native-devtools-mcp 是一个跨平台的 MCP 服务器,为 AI 代理提供对 macOS、Windows 和 Android 系统的自动化控制能力,包括屏幕截图、OCR 文字识别、模拟点击输入、窗口管理以及 Android 设备控制。
一个用于SAP GUI自动化的MCP服务器,提供程序化控制SAP交易的工具,包括启动交易、界面交互和屏幕捕获等功能。
一个基于MCP协议的Windows电脑控制服务器,为AI智能体提供屏幕截图、窗口管理、文件操作、系统控制等全面自动化能力,支持本地和远程访问。
一个提供ADB功能的MCP服务器,用于自动化控制安卓设备,包含设备管理、屏幕操作、应用管理、文件操作和Shell命令等功能。
PyMCPAutoGUI是一个通过MCP协议为AI代理提供图形用户界面(GUI)自动化能力的工具,支持鼠标键盘控制、屏幕截图、窗口管理等操作,可无缝集成Cursor编辑器等MCP兼容环境。
一个通过nut.js实现电脑屏幕、鼠标和键盘程序化控制的MCP服务,提供截图、输入模拟、窗口管理等自动化操作功能
一个MCP服务器,集成了iOS模拟器控制和浏览器自动化功能,为AI助手提供设备管理、屏幕截图、手势操作、DOM交互等工具,支持多种MCP客户端快速安装配置。
Android Mobile MCP是一个通过模型上下文协议实现Android设备自动化的工具,提供UI操作、应用管理和屏幕捕获等功能