Apify MCP服务器是一个基于模型上下文协议（MCP）的工具，允许AI助手通过数千个现成的爬虫、抓取器和自动化工具（Apify Actor）从社交媒体、搜索引擎、电商等网站提取数据。它支持OAuth和Skyfire代理支付，可通过HTTPS端点或本地stdio方式集成到Claude、VS Code等MCP客户端中。

Crawl4AI RAG MCP Server是一个集成网络爬虫和RAG功能的AI代理服务，支持智能URL检测、递归爬取、并行处理和向量搜索，旨在为AI编码助手提供强大的知识获取和检索能力。

一个基于MCP协议的网站安全扫描工具，集成dirsearch目录扫描和firecrawl爬虫技术，可自动化识别网站技术栈并分类漏洞风险等级

PodCrawlerMCP是一个通过网页爬虫发现播客内容的MCP服务，帮助AI助手根据主题查找播客节目和单集。

MediaCrawler MCP服务是将社交媒体爬虫升级为AI助手可直接调用的标准化工具，支持多平台数据获取，具有登录外部化、浏览器复用和结构化输出等特性

一个基于MCP协议的RSS爬虫服务器，用于抓取和管理RSS订阅内容并与LLM集成。

Dafty MCP是一个独立开发的开源项目，通过网页爬虫与Daft.ie交互，提供爱尔兰租房信息搜索和详情查询功能。

AI-Cursor-Scraping-Assistant是一个基于Cursor AI和MCP协议的网络爬虫生成工具，能够快速分析网站结构并自动生成Scrapy或Camoufox爬虫代码。项目包含Cursor规则集和MCP工具集两大组件，支持电商PLP/PDP页面抓取，具备反爬检测和绕过能力。

mcp-server-webcrawl是一个高级网络爬虫数据搜索与检索工具，专为AI客户端设计，支持多种爬虫格式（如WARC、wget等），提供全文搜索、布尔逻辑查询及资源类型/状态过滤功能。它可与Claude Desktop无缝集成，通过Python安装，适用于构建网站知识库或进行SEO/性能审计等任务。

Web爬虫MCP服务器部署指南

SERP MCP Server是一个基于Model Context Protocol的谷歌搜索结果爬虫服务器，支持指纹轮换、地理位置编码和精简模式，可自动提取有机结果、相关搜索等数据。

一个基于Python的MCP网络爬虫项目，用于提取并保存网站内容为Markdown文件，支持批量处理和多线程配置。

SEO爬虫MCP服务器，用于网站爬取和SEO分析，通过本地SQLite数据库存储和分析网站数据，提供全面的技术SEO检查和安全审计功能。

一个连接Claude桌面版与本地eGet网页爬虫的MCP服务，实现通过本地API抓取网页内容的功能

基于MCP协议的网站爬虫合规风险评估工具，提供法律、社会伦理和技术三个维度的风险检测，帮助开发者评估目标网站的爬虫友好性和潜在风险。

Crawlab MCP服务器是一个连接AI应用与Crawlab爬虫平台的中间件，通过标准化协议实现自然语言交互

一个提供谷歌搜索和网页内容查看功能的MCP服务器，具备高级反爬虫规避技术

Firecrawl MCP Server是一个基于Firecrawl API的网络爬虫和数据提取服务，提供网页抓取、内容搜索、站点爬取和结构化数据提取功能。

Crawl4AI是一个基于MCP架构的智能网络爬虫服务器，结合Claude AI模型提供网站内容分析与处理功能，支持可定制的爬取深度和AI处理任务，适用于研究、内容创作、数据分析等多种场景。

该项目是一个基于Elasticsearch的语义搜索工具，用于对Search Labs博客文章进行语义检索，包含爬虫配置、索引映射更新和MCP服务器集成功能。