階躍星辰發佈面向手機、車載等終端的Step Edge系列模型,包含基礎版、Audio版、GUI版及Gen版。該模型支持本地處理圖文音頻,能實現屏幕理解、語音識別、界面操作與圖像生成,工具調用延遲低至0.1秒。簡單、高頻或弱網場景下任務全在本地完成,複雜推理則交由雲端處理,實現端雲高效協同。
openJiuwen社區發佈Skill-Omni,首個工程化多模態Skill範式,突破傳統純文本指令侷限,使智能體經驗從“讀得懂”升級爲“看得見”,精準賦能修圖、GUI操作等視覺任務,開闢複雜視覺交互新路徑。
Mininglamp 開源了兩個本地AI項目Cider和Mano-P,分別解決Mac端側推理加速和GUI智能體操作痛點。Cider釋放M系列芯片潛能,讓LLM/VLM在本地運行更快更省資源;Mano-P則提升智能體操作效率。這使Mac從“能跑AI”升級爲高效、私有、可深度操控的AI工作站,打造完整本地AI基礎設施。
OPPO高管姜昱辰表示,當前AI手機技術處於GUI Agent過渡階段,未來將向Agent to Agent(A2A)模式發展。他提及近期受關注的“豆包AI手機”,指出其通過模擬點擊和無障礙服務實現跨應用操作,但認爲這只是技術演進中的一環。
Guideless可將操作流程轉化為帶旁白視頻指南,便於分享與嵌入
開源的手機端 GUI 智能代理,支持中英文應用操作。
Openai
-
輸入tokens/百萬
輸出tokens/百萬
上下文長度
Anthropic
$105
$525
200
Alibaba
$4
$16
1k
$2
$20
Bytedance
$0.8
256
$3.5
$12
128
$21
Salesforce
GTA1是基於GRPO強化學習訓練的GUI接地模型,專門用於圖形用戶界面自動化操作。相較於依賴冗長思維鏈推理的方法,GRPO直接激勵可操作和有根據的響應,在多個基準測試中表現出卓越的接地性能。
LZXzju
UI-R1-E-3B是基於Qwen2.5-VL-3B-Instruct微調的高效GUI定位模型,專注於視覺問答任務,特別擅長在用戶界面截圖中定位和識別操作元素。
THUDM
基於GLM-4V-9B開發的雙語視覺語言模型,專注於GUI界面感知與操作任務
這是一個基於OmniParser的MCP服務器,能夠分析屏幕內容並自動操作GUI界面,主要在Windows系統上運行。
這是一個基於OmniParser的MCP服務器項目,能夠自動分析屏幕內容並操作GUI界面,主要支持Windows系統。
一個基於PyAutoGUI的MCP服務器,提供自動化GUI測試和控制功能,支持跨平臺操作。
PyMCPAutoGUI是一個通過MCP協議為AI代理提供圖形用戶界面(GUI)自動化能力的工具,支持鼠標鍵盤控制、屏幕截圖、窗口管理等操作,可無縫集成Cursor編輯器等MCP兼容環境。
一個提供22種SAP GUI自動化工具的MCP服務器,支持Python和TypeScript雙版本實現,包含連接管理、導航操作、數據輸入輸出等完整SAP自動化功能
該項目是一個通過串口操作TinySA設備的MCP服務器,提供基於Python的工具接口,支持命令執行、版本獲取、圖像捕獲等功能,採用Tkinter GUI與多線程架構設計。