最高のAI Robots AIツールモデル_厳選AI Robots情報

AIニュース

AnthropicのクローラーがウェブサイトのAIスクレイピング対策ポリシーを無視し、批判を浴びる

AnthropicのClaudeBotウェブクローラーが24時間以内にiFixitウェブサイトに頻繁にアクセスし、利用規約に違反し、無許可でコンテンツを使用し、開発リソースを消費した疑いがあります。iFixitはrobots.txtにcrawl-delay拡張を追加することでクローラーアクセスを制限しました。この事件は、Read the DocsやFreelancer.comなどの他のウェブサイトにも波及しました。OpenAIなどのAI企業はrobots.txtでクローラーアクセスを拒否しています

6.9k 昨日

AIモデルのトレーニングデータ取得を阻むWebドメイン数の急増

AIモデルは、Web上のトレーニングデータへのアクセスを失いつつあり、データ遮断率は1％から5～7％に増加しています。14,000のドメインのrobots.txtファイルと利用規約を分析した結果、ニュースサイト、フォーラム、ソーシャルメディアプラットフォームがAIデータアクセス制限の主要な原因であることがわかりました。特にニュースサイトでは、遮断率が3％から45％に急増しています。AIトレーニングデータにおける高品質なニュースコンテンツの割合が減少し、低品質の企業向けECコンテンツが取って代わる可能性があります。この傾向は、高品質なデータに依存するAI開発者にとって大きな課題となっています。

4.7k 11-04

Reddit、AI企業による無償データ収集を阻止する措置に着手

Redditは、AI企業による自社コンテンツの収集を阻止する、または少なくとも有料化を要求する措置を取っています。今週初めに、Redditはrobots.txtファイルと呼ばれるロボット排除プロトコルを変更すると発表しました。この一見地味な変更は、AI企業が言語モデルのトレーニングに熱心に使おうとするコンテンツ所有者間の、より大きな交渉／争いのほんの一部です。

4.1k 10-24

AIツールPerplexity、禁止されているにも関わらずウェブサイトコンテンツのクロールを継続していると非難される

AIスタートアップ企業Perplexityは、革新的なウェブ情報とのインタラクション方法で、私たちのオンライン読書体験を再構築しつつあります。しかし、同社は最近、業界標準プロトコルを無視し、Robots Exclusion Protocolを回避して制限されたウェブコンテンツを取得したことで物議を醸しています。

5.2k 11-01