Cloudflare 7月1日更新爬虫规则,标记搜索、AI代理、训练等行为,定于2026年9月15日起默认拦截AI类爬虫访问含广告页面。站长虽愿被搜录但需保护版权收益,而大量混合爬虫难以区分。其管理器将识别爬虫全部用途,任一被禁属性即触发拦截。
Cloudflare 发布服务新规,要求所有 AI 厂商在 9 月 15 日前拆分搜索爬虫与训练/代理专用爬虫。未区分的混合爬虫访问带广告页面将被自动拦截。该规则对新入驻客户、老用户新建站点及全部免费用户统一生效;网站管理员若要放行,须手动修改后台配置,直接影响 AI 行业爬虫规范。
谷歌在I/O大会上宣布搜索引擎重大改革,用AI代理取代传统蓝色链接列表,引发强烈舆论反弹。批评者认为此举可能扼杀开放网络,AI概览提供不准确答案,剥夺用户控制权,甚至将简单问题复杂化,如用户无法正常搜索基本内容。
谷歌正对搜索引擎进行重大改革,旨在将传统关键词搜索升级为更智能、互动的体验。新推出的“智能搜索框”由Gemini 3.5 Flash模型驱动,支持对话式交互,使搜索平台成为生成式AI工具的入口,类似与聊天机器人交流。
GEOly是DTC品牌的GEO数据平台,提供AI搜索和代理商务的品牌情报。
Scavio是适用于AI代理的实时搜索API,可搜索多平台并返回结构化JSON。
PromptsPilot是每日搜索互联网的AI代理,可自动监控行业、竞品和客户信息。
Siteline将AI代理和机器人流量转化为可行见解,提升AI搜索可见性。
Anthropic
$21
Input tokens/M
$105
Output tokens/M
200
Context Length
Google
$0.7
$2.8
1k
Tencent
$1
$4
32
Alibaba
$54
$163
Deepseek
$12
128
Baidu
-
Openai
$0.63
$3.15
131
Bytedance
$0.8
$8
256
Chatglm
$0.5
Huawei
$2.4
$9.6
$0.14
$0.28
Baichuan
$15
$16
192
Moonshot
$10
$30
FractalAIResearch
Fathom-DeepResearch是一个智能深度研究系统,由两个专门的4B参数模型组成:Fathom-Search-4B针对长时证据搜索优化,Fathom-Synthesizer-4B用于开放式合成和报告生成。该系统在多个搜索密集型基准测试中取得了最先进的性能,并在开放式合成基准测试上超越了多个闭源深度研究代理。
QuantTrio
DeepSeek-V3.1是基于DeepSeek-V3.1-Base进行后训练的大型语言模型,具有128K上下文长度,支持混合思维模式、智能工具调用和代码代理功能。该模型在多项基准测试中表现出色,特别在数学推理、代码生成和搜索代理任务上有显著提升。
cpatonn
Llama-3.3-Nemotron-Super-49B-v1.5是基于Meta Llama-3.3-70B-Instruct的大语言模型,经过多阶段后训练增强了推理、聊天偏好和代理任务能力。采用神经架构搜索技术,在保持高准确性的同时显著提升效率,支持128K令牌上下文长度和多语言处理。
gabriellarson
Llama-3.3-Nemotron-Super-49B-v1.5是NVIDIA开发的高效大语言模型,基于Meta Llama-3.3-70B-Instruct衍生而来。该模型在推理、聊天交互和代理任务方面表现出色,通过神经架构搜索技术显著降低了内存占用,支持128K令牌的上下文长度,在数学、代码、科学和工具调用等多方面能力得到增强。
Haiku RAG是一个基于LanceDB、Pydantic AI和Docling构建的智能检索增强生成系统,支持混合搜索、重排序、问答代理、多代理研究流程,并提供本地优先的文档处理和MCP服务器集成。
Airweave是一个开源的人工智能代理和RAG系统的上下文检索层,它连接并同步各种应用程序、工具和数据库的数据,通过统一的搜索接口为AI代理提供相关、实时、多源的上下文信息。
Apify MCP服务器是一个基于模型上下文协议(MCP)的工具,允许AI助手通过数千个现成的爬虫、抓取器和自动化工具(Apify Actor)从社交媒体、搜索引擎、电商等网站提取数据。它支持OAuth和Skyfire代理支付,可通过HTTPS端点或本地stdio方式集成到Claude、VS Code等MCP客户端中。
MCP Agent Mail是一个为AI编程代理设计的邮件式协调层,提供身份管理、消息收发、文件预留和搜索功能,支持多代理异步协作和冲突避免。
一个通过searXNG连接代理系统与搜索系统的MCP服务器
Redis MCP Server是一个为Redis设计的自然语言接口服务,支持AI代理通过自然语言查询和管理Redis数据,集成MCP协议,提供多种数据结构和搜索功能。
Crawl4AI RAG MCP Server是一个集成网络爬虫和RAG功能的AI代理服务,支持智能URL检测、递归爬取、并行处理和向量搜索,旨在为AI编码助手提供强大的知识获取和检索能力。
MCP-Mem0是一个为AI代理提供长期记忆功能的模板实现,集成了Model Context Protocol (MCP)服务器和Mem0,支持记忆的存储、检索和语义搜索。
为RAG Web Browser Actor实现的MCP服务器,支持AI代理进行网页搜索和内容提取。
CodeAlive MCP是一个为AI客户端提供深度代码库上下文服务的协议服务器,通过集成CodeAlive平台的语义代码搜索和代码库交互功能,增强AI代理(如Claude、Copilot等)对大型代码库的理解能力。
ClinicalTrials.gov MCP服务器是一个基于Model Context Protocol的接口服务,提供对ClinicalTrials.gov官方数据库的访问能力,支持AI代理和LLM程序化搜索、检索和分析临床研究数据。
Fetch Browser是一个强大的无头浏览器MCP服务器,专为AI代理设计,无需API密钥即可获取网页内容和执行Google搜索。支持多种内容格式转换和智能错误处理。
MCP开发代理是一个基于模型上下文协议(MCP)的智能开发助手,提供内存管理、文档搜索、Git/GitHub集成和代码分析功能,支持CLI和SSE服务器模式,利用本地AI模型实现智能辅助开发。
一个连接Obsidian知识库的MCP服务器,通过REST API插件使AI代理能执行复杂知识发现和分析任务,支持高级搜索、正则匹配和全文检索等功能。
A-MEM是一个为编码代理设计的自进化记忆系统,采用Zettelkasten式知识图谱结构,能够自动提取、关联和演化记忆,支持语义搜索和图遍历,通过MCP协议与Claude Code等代理集成。
Apple RAG MCP是一个为AI代理提供苹果开发专业知识的检索增强生成系统,集成了官方Swift文档、设计指南和Apple Developer YouTube内容,通过AI驱动的混合搜索技术提供准确的技术答案。
AI记忆协议是一个为AI编程代理设计的版本化、基于图的持久记忆系统,使用Sphinx-Needs实现,支持记忆的创建、搜索、更新和通过MCP协议与AI客户端集成。
一个高级Obsidian MCP服务器,通过Local REST API插件与Obsidian交互,使AI代理能深度理解知识库结构、链接和内容,提供文件操作、搜索、笔记管理和知识库分析等功能。
一个用于扩展AI代理上下文窗口/记忆的MCP服务器,支持存储、检索和管理记忆,包含语义搜索功能。
Gemini DeepSearch MCP是一个自动化研究代理,利用Google Gemini模型和Google搜索进行深度多步骤网络研究,生成高质量、带引用的答案。