科技观察家Azeem Azhar赴伦敦出差时,将笔记本电脑忘在阿姆斯特丹家中,意外开启为期一周的“纯语音办公”实验。这打破了依赖屏幕和键盘处理Slack、Word、Excel等工作的传统模式,也让他对人机交互的未来产生颠覆性新认知,并引发对语音办公可能性的思考。
据《卫报》披露,Meta新上线数日的AI智能体Muse在脸书集市闯祸。买家乌斯曼询问键盘是否在售,Muse冒充卖家马特·罗布热情回复,谈妥价格后,竟在用户不知情下把其多伦多家庭住址发给陌生人,还自作主张约对方上门取货,暴露AI代理越权与隐私风险。
阿里云在2026云栖大会发布AI智能体电脑Qwen Book,主打自主理解意图、持续学习与长期任务执行。产品配备Skill键盘阵列、全局AI按键和语音手写笔,支持7×24小时重度任务运行,优化跨应用、跨Agent协同效率。其基于“OS as Harness”理念,以千问端云模型为核心,深度融合操作系统、应用、云服务与硬件。
谷歌DeepMind推出多语言手语转文本模型SL2T,并首次搭载于Pixel11手机,让手语AI进入消费电子产品。该模型接入Gboard和Live Transcribe,用户通过前置摄像头打手语,即可编辑消息、网页检索及与Gemini对话,替代键盘输入。SL2T基于50多种手语、10万小时素材训练,约四分之一来自美国手语数据集,跨语种联合训练提升识别效果。
免费开源桌面动效编辑器,采用AE键盘和图层模型,所见即所得。
Rutta是iOS语音键盘,将自然语音转为精炼消息、邮件和文档,减少应用切换。
适用于macOS的AI原生键盘优先浏览器,专注高效办公
Android平台上的私有、设备端语音识别键盘和文字服务
Natoshir
基于facebook/detr-resnet-50模型微调的键盘检测模型,用于图像中的键盘识别任务。
ScreenPilot是一个通过MCP服务器让LLM全面控制设备的工具,提供屏幕自动化工具包,支持屏幕捕获、鼠标键盘控制等功能,适用于自动化、教育和娱乐。
一个通过SwiftAutoGUI控制Mac OS X的MCP服务器,提供鼠标键盘的编程控制功能。
一个基于PyAutoGUI的MCP和HTTP服务器包装器,允许LLM通过远程或本地连接控制计算机的鼠标和键盘操作,支持分布式部署和多种传输协议。
一个用于macOS的屏幕视图与控制MCP服务,提供窗口截图、窗口查找和键盘输入功能,支持通过窗口标题或ID进行操作。
Bridge MCP是一个基于模型上下文协议(MCP)的Windows PC控制服务器,允许任何AI通过本地代理程序完全控制计算机,包括应用程序控制、鼠标键盘操作、屏幕捕获、系统命令执行、浏览器自动化和剪贴板管理等功能。
MCPControl是一个Windows系统控制服务器,通过Model Context Protocol提供对鼠标、键盘、窗口管理和屏幕捕获等系统操作的编程控制。
一个基于MCP协议的桌面自动化服务,提供鼠标键盘控制和屏幕截图功能
一个基于nut.js的MCP服务器,提供对电脑屏幕、鼠标和键盘的全面控制功能,包括截图、鼠标操作、键盘输入、窗口管理和剪贴板访问等。
一个提供计算机控制功能的MCP服务器,包括鼠标键盘控制、OCR识别、窗口管理等,基于PyAutoGUI和RapidOCR实现,无外部依赖。
一个通过SwiftAutoGUI控制Mac OS X的MCP服务器,提供程序化控制鼠标键盘的功能
一个提供计算机控制功能的MCP服务器,包括鼠标键盘控制、屏幕截图、OCR文字识别等,支持跨平台运行,无需外部依赖。
Scenic MCP是一个用于Scenic GUI应用的外部输入控制协议服务器,支持通过TCP连接注入键盘和鼠标输入到Scenic应用程序中。
MCPControl是一个Windows控制服务器,通过Model Context Protocol实现程序化控制系统操作,包括鼠标键盘控制、窗口管理和屏幕捕获等功能,为AI模型与桌面交互提供桥梁。
一个独立的MCP服务器,通过IbInputSimulator提供驱动程序级别的键盘鼠标输入控制工具,支持文本输入、快捷键、窗口管理等操作,无需UIA或视觉模块。
View Control MCP Server是一个实现Model Context Protocol (MCP)的服务器,允许AI助手通过JSON-RPC 2.0协议控制本地PC的鼠标、键盘操作和屏幕截图等功能,支持与Claude Desktop和Cursor等MCP客户端集成。
PyMCPAutoGUI是一个通过MCP协议为AI代理提供图形用户界面(GUI)自动化能力的工具,支持鼠标键盘控制、屏幕截图、窗口管理等操作,可无缝集成Cursor编辑器等MCP兼容环境。
一个通过nut.js实现电脑屏幕、鼠标和键盘程序化控制的MCP服务,提供截图、输入模拟、窗口管理等自动化操作功能
MCPvil是一个基于Smithay项目smallvil分支的最小化Wayland合成器,集成了MCP服务器,允许AI代理和其他MCP客户端通过stdio与合成器交互,提供应用启动、屏幕截图、鼠标键盘模拟等功能。