GPTBot遮断率増加

ウェブサイトOriginality.aiのデータによると、現在、世界の上位100サイトのうち、26%がOpenAIが開発したウェブクローラーGPTBotを遮断しています。この割合は先月と比べて約3倍増加しました。

サイトがGPTBotを遮断する主な理由は、OpenAIがコンテンツをモデルの学習に使用し、何らかの報酬を支払わないことを懸念しているためです。Common Crawlクローラーも、OpenAIなどの企業に一部の学習データを提供しているため、一部のサイトで遮断されています。

データによると、上位1000サイトのうち、67個のrobots.txtファイルがまだ検査されていません。