Anthropic的爬虫机器人无视网站反AI抓取政策遭吐槽

Anthropic的ClaudeBot网络爬虫在24小时内频繁访问iFixit网站，涉嫌违反使用条款，未经授权使用内容并消耗开发资源。iFixit已通过在robots.txt中添加crawl-delay扩展限制爬虫访问。此事件也波及其他网站，如Read the Docs和Freelancer.com。AI公司如OpenAI通过robots.txt拒绝爬虫访问，但不提供灵活定义访问权限的选项。Perplexity公司被发现忽略robots.txt规则。尽管如此，使用robots.txt仍然是保护数据不被用于AI训练的常见策略之一。Reddit最近也采取行动打击网络爬虫。