Cloudflare 7月1日更新爬蟲規則,標記搜索、AI代理、訓練等行爲,定於2026年9月15日起默認攔截AI類爬蟲訪問含廣告頁面。站長雖願被搜錄但需保護版權收益,而大量混合爬蟲難以區分。其管理器將識別爬蟲全部用途,任一被禁屬性即觸發攔截。
Cloudflare 發佈服務新規,要求所有 AI 廠商在 9 月 15 日前拆分搜索爬蟲與訓練/代理專用爬蟲。未區分的混合爬蟲訪問帶廣告頁面將被自動攔截。該規則對新入駐客戶、老用戶新建站點及全部免費用戶統一生效;網站管理員若要放行,須手動修改後臺配置,直接影響 AI 行業爬蟲規範。
谷歌在I/O大會上宣佈搜索引擎重大改革,用AI代理取代傳統藍色鏈接列表,引發強烈輿論反彈。批評者認爲此舉可能扼殺開放網絡,AI概覽提供不準確答案,剝奪用戶控制權,甚至將簡單問題複雜化,如用戶無法正常搜索基本內容。
谷歌正對搜索引擎進行重大改革,旨在將傳統關鍵詞搜索升級爲更智能、互動的體驗。新推出的“智能搜索框”由Gemini 3.5 Flash模型驅動,支持對話式交互,使搜索平臺成爲生成式AI工具的入口,類似與聊天機器人交流。
GEOly是DTC品牌的GEO數據平臺,提供AI搜索和代理商務的品牌情報。
Scavio是適用於AI代理的即時搜索API,可搜索多平臺並返回結構化JSON。
PromptsPilot是每日搜索互聯網的AI代理,可自動監控行業、競品和客戶信息。
Siteline將AI代理和機器人流量轉化為可行見解,提升AI搜索可見性。
Anthropic
$21
輸入tokens/百萬
$105
輸出tokens/百萬
200
上下文長度
Google
$0.7
$2.8
1k
Deepseek
$4
$12
128
Tencent
$1
32
Alibaba
$54
$163
Baidu
-
Openai
$0.63
$3.15
131
Bytedance
$0.8
$8
256
Chatglm
$0.5
Huawei
$2.4
$9.6
$0.14
$0.28
Baichuan
$15
$16
192
Moonshot
$10
$30
FractalAIResearch
Fathom-DeepResearch是一個智能深度研究系統,由兩個專門的4B參數模型組成:Fathom-Search-4B針對長時證據搜索優化,Fathom-Synthesizer-4B用於開放式合成和報告生成。該系統在多個搜索密集型基準測試中取得了最先進的性能,並在開放式合成基準測試上超越了多個閉源深度研究代理。
QuantTrio
DeepSeek-V3.1是基於DeepSeek-V3.1-Base進行後訓練的大型語言模型,具有128K上下文長度,支持混合思維模式、智能工具調用和代碼代理功能。該模型在多項基準測試中表現出色,特別在數學推理、代碼生成和搜索代理任務上有顯著提升。
cpatonn
Llama-3.3-Nemotron-Super-49B-v1.5是基於Meta Llama-3.3-70B-Instruct的大語言模型,經過多階段後訓練增強了推理、聊天偏好和代理任務能力。採用神經架構搜索技術,在保持高準確性的同時顯著提升效率,支持128K令牌上下文長度和多語言處理。
gabriellarson
Llama-3.3-Nemotron-Super-49B-v1.5是NVIDIA開發的高效大語言模型,基於Meta Llama-3.3-70B-Instruct衍生而來。該模型在推理、聊天交互和代理任務方面表現出色,通過神經架構搜索技術顯著降低了內存佔用,支持128K令牌的上下文長度,在數學、代碼、科學和工具調用等多方面能力得到增強。
Haiku RAG是一個基於LanceDB、Pydantic AI和Docling構建的智能檢索增強生成系統,支持混合搜索、重排序、問答代理、多代理研究流程,並提供本地優先的文檔處理和MCP服務器集成。
Airweave是一個開源的人工智能代理和RAG系統的上下文檢索層,它連接並同步各種應用程序、工具和數據庫的數據,通過統一的搜索接口為AI代理提供相關、即時、多源的上下文信息。
Apify MCP服務器是一個基於模型上下文協議(MCP)的工具,允許AI助手通過數千個現成的爬蟲、抓取器和自動化工具(Apify Actor)從社交媒體、搜索引擎、電商等網站提取數據。它支持OAuth和Skyfire代理支付,可通過HTTPS端點或本地stdio方式集成到Claude、VS Code等MCP客戶端中。
MCP Agent Mail是一個為AI編程代理設計的郵件式協調層,提供身份管理、消息收發、文件預留和搜索功能,支持多代理異步協作和衝突避免。
Redis MCP Server是一個為Redis設計的自然語言接口服務,支持AI代理通過自然語言查詢和管理Redis數據,集成MCP協議,提供多種數據結構和搜索功能。
一個通過searXNG連接代理系統與搜索系統的MCP服務器
Crawl4AI RAG MCP Server是一個集成網絡爬蟲和RAG功能的AI代理服務,支持智能URL檢測、遞歸爬取、並行處理和向量搜索,旨在為AI編碼助手提供強大的知識獲取和檢索能力。
MCP-Mem0是一個為AI代理提供長期記憶功能的模板實現,集成了Model Context Protocol (MCP)服務器和Mem0,支持記憶的存儲、檢索和語義搜索。
為RAG Web Browser Actor實現的MCP服務器,支持AI代理進行網頁搜索和內容提取。
Florentine.ai MCP服務器允許AI代理通過自然語言查詢MongoDB和MySQL數據庫,支持多租戶數據隔離、自動模式探索和語義向量搜索等功能。
該項目展示瞭如何利用Google的ADK(代理開發工具包)和MCP(模型上下文協議)構建一個由Gemma 3驅動的YouTube搜索助手,支持自然語言查詢和格式化搜索結果。
Fetch Browser是一個強大的無頭瀏覽器MCP服務器,專為AI代理設計,無需API密鑰即可獲取網頁內容和執行Google搜索。支持多種內容格式轉換和智能錯誤處理。
該項目實現了TypeScript的MCP代理與Ollama的集成,通過統一接口讓AI模型能調用多種工具,支持文件操作和網絡搜索等功能。
一個基於Model Context Protocol (MCP)的Gmail郵件管理服務器,支持通過AI代理搜索、閱讀、刪除和發送郵件,需配合語音交互客戶端使用。
一個基於MCP協議的自主AI研究代理,能夠通過單次提示完成網絡搜索、知識庫檢索、代碼編寫、圖表生成和報告撰寫等完整研究流程。
DomainKits MCP是一個為AI助手設計的域名智能代理框架,集成了域名搜索、分析、監控、趨勢發現和批量處理等工具,可將通用AI助手轉變為具備行業領域知識的專業域名代理。
MCPfinder是一個為AI代理提供動態能力擴展的本地服務器工具,通過搜索和安裝MCP協議兼容的工具包,使語言模型能夠按需獲取新功能。
o3-search-mcp是一個MCP服務器,支持使用OpenAI的o3模型及其強大的網絡搜索功能,幫助AI編程代理自主解決複雜問題。
FHIR MCP Server 是一個基於 FastMCP 框架的醫療數據管理服務器,提供完整的模型上下文協議(MCP)實現,支持 LLM 代理與 FHIR 兼容後端的交互。它提供標準化的接口,支持對 FHIR 資源的全面 CRUD 操作,並通過一系列工具實現智能文檔處理和語義搜索。
Apple Health MCP Server是一個基於FastMCP框架的模型上下文協議服務器,專為LLM代理與蘋果健康數據交互設計。它提供標準化接口,通過Elasticsearch索引和查詢健康數據,支持自然語言搜索、分析和統計功能,包含XML和Elasticsearch兩大工具集,支持Docker部署。