阶跃星辰发布面向手机、车载等终端的Step Edge系列模型,包含基础版、Audio版、GUI版及Gen版。该模型支持本地处理图文音频,能实现屏幕理解、语音识别、界面操作与图像生成,工具调用延迟低至0.1秒。简单、高频或弱网场景下任务全在本地完成,复杂推理则交由云端处理,实现端云高效协同。
openJiuwen社区发布Skill-Omni,首个工程化多模态Skill范式,突破传统纯文本指令局限,使智能体经验从“读得懂”升级为“看得见”,精准赋能修图、GUI操作等视觉任务,开辟复杂视觉交互新路径。
Mininglamp 开源了两个本地AI项目Cider和Mano-P,分别解决Mac端侧推理加速和GUI智能体操作痛点。Cider释放M系列芯片潜能,让LLM/VLM在本地运行更快更省资源;Mano-P则提升智能体操作效率。这使Mac从“能跑AI”升级为高效、私有、可深度操控的AI工作站,打造完整本地AI基础设施。
OPPO高管姜昱辰表示,当前AI手机技术处于GUI Agent过渡阶段,未来将向Agent to Agent(A2A)模式发展。他提及近期受关注的“豆包AI手机”,指出其通过模拟点击和无障碍服务实现跨应用操作,但认为这只是技术演进中的一环。
Guideless可将操作流程转化为带旁白视频指南,便于分享与嵌入
开源的手机端 GUI 智能代理,支持中英文应用操作。
Openai
-
输入tokens/百万
输出tokens/百万
上下文长度
Anthropic
$105
$525
200
Alibaba
$4
$16
1k
$2
$20
Bytedance
$0.8
256
$3.5
$12
128
$21
Salesforce
GTA1是基于GRPO强化学习训练的GUI接地模型,专门用于图形用户界面自动化操作。相较于依赖冗长思维链推理的方法,GRPO直接激励可操作和有根据的响应,在多个基准测试中表现出卓越的接地性能。
LZXzju
UI-R1-E-3B是基于Qwen2.5-VL-3B-Instruct微调的高效GUI定位模型,专注于视觉问答任务,特别擅长在用户界面截图中定位和识别操作元素。
THUDM
基于GLM-4V-9B开发的双语视觉语言模型,专注于GUI界面感知与操作任务
一个基于PyAutoGUI的MCP服务器,提供自动化GUI测试和控制功能,支持跨平台操作。
这是一个基于OmniParser的MCP服务器项目,能够自动分析屏幕内容并操作GUI界面,主要支持Windows系统。
这是一个基于OmniParser的MCP服务器,能够分析屏幕内容并自动操作GUI界面,主要在Windows系统上运行。
PyMCPAutoGUI是一个通过MCP协议为AI代理提供图形用户界面(GUI)自动化能力的工具,支持鼠标键盘控制、屏幕截图、窗口管理等操作,可无缝集成Cursor编辑器等MCP兼容环境。
一个提供22种SAP GUI自动化工具的MCP服务器,支持Python和TypeScript双版本实现,包含连接管理、导航操作、数据输入输出等完整SAP自动化功能
该项目是一个通过串口操作TinySA设备的MCP服务器,提供基于Python的工具接口,支持命令执行、版本获取、图像捕获等功能,采用Tkinter GUI与多线程架构设计。