Anthropic的爬蟲機器人無視網站反AI抓取政策遭吐槽

Anthropic的ClaudeBot網絡爬蟲在24小時內頻繁訪問iFixit網站，涉嫌違反使用條款，未經授權使用內容並消耗開發資源。iFixit已通過在robots.txt中添加crawl-delay擴展限制爬蟲訪問。此事件也波及其他網站，如Read the Docs和Freelancer.com。AI公司如OpenAI通過robots.txt拒絕爬蟲訪問，但不提供靈活定義訪問權限的選項。Perplexity公司被發現忽略robots.txt規則。儘管如此，使用robots.txt仍然是保護數據不被用於AI訓練的常見策略之一。Reddit最近也採取行動打擊網絡爬蟲。