Anthropic द्वारा उपयोग किया जाने वाला ClaudeBot वेब क्रॉलर 24 घंटों के भीतर iFixit वेबसाइट पर बार-बार पहुंचता है, जो कि कंपनी की उपयोग की शर्तों का उल्लंघन करता है।
iFixit के CEO Kyle Wiens ने कहा कि यह न केवल बिना अनुमति के सामग्री का उपयोग है, बल्कि उनके विकास संसाधनों का भी दुरुपयोग है। इस मामले पर, iFixit ने क्रॉलर की पहुंच को सीमित करने के लिए robots.txt में crawl-delay एक्सटेंशन जोड़ा है।
iFixit के अलावा, Read the Docs के सह-संस्थापक Eric Holscher और Freelancer.com के CEO Matt Barrie ने भी कहा है कि उनकी वेबसाइटों पर Anthropic के क्रॉलर का हमला हुआ है।
पिछले कुछ महीनों में, Reddit पोस्ट ने Anthropic की वेब क्रॉलिंग गतिविधियों में तेजी से वृद्धि की सूचना दी थी। इस वर्ष अप्रैल में, Linux Mint वेब फोरम की साइट की विफलता भी ClaudeBot की क्रॉलिंग गतिविधियों के कारण बताई गई थी।
कई AI कंपनियाँ जैसे OpenAI ने robots.txt फ़ाइल के माध्यम से क्रॉलर की पहुंच को अस्वीकार किया है, लेकिन यह वेबसाइट मालिकों को यह लचीले ढंग से परिभाषित करने का विकल्प नहीं देता कि कौन सी क्रॉलिंग सामग्री को अनुमति दी जाए और कौन सी को रोका जाए। दूसरी AI कंपनी Perplexity को पूरी तरह से robots.txt अपवाद नियमों की अनदेखी करते हुए पाया गया।
फिर भी, यह कई कंपनियों के लिए डेटा को AI प्रशिक्षण सामग्री के रूप में उपयोग से बचाने के लिए एकमात्र विकल्पों में से एक है, Reddit ने हाल ही में वेब क्रॉलर्स के खिलाफ कार्रवाई की है।
