最近、人工知能の著作権に関する訴訟「Kadrey対Meta訴訟」の進展に伴い、Meta社の内部情報が法廷で公開されました。そこには、同社幹部がLlama3の開発において、OpenAIのGPT-4モデルを凌駕することに固執していたことが明らかになっています。
Metaの生成AI担当副社長、アフマド・アル・ダーレ（Ahmad Al-Dahle）は、2023年10月のメッセージで次のように述べています。「正直に言って、私たちの目標はGPT-4でなければなりません。64000個のGPUがあります！最先端技術を構築し、この競争に勝つ方法を学ぶ必要があります。」
MetaはオープンなAIモデルを公開していますが、同社のAIリーダーシップは明らかに、AnthropicやOpenAIといったモデルの重みを公開しない競合他社、そしてそれらのClaudeやGPT-4を基準として考えていました。フランスのAIスタートアップ企業Mistralも幾度か言及されていましたが、Meta幹部はそれを軽視しているように見えました。アル・ダーレはメッセージの中で、「Mistralは私たちにとって朝飯前です。もっとうまくできるはずです」と述べています。
AI分野では、各社が最先端のAIモデルの開発にしのぎを削っていますが、これらの法廷文書は、Metaがこの競争において非常に緊張した状況にあったことを示しています。複数のメッセージの中で、MetaのAIリーダーは、Llamaのトレーニングに必要なデータの取得に「非常に積極的」だったと述べています。ある幹部は「Llama3だけが私の関心事です」とさえ言っています。彼らはLlama3のパフォーマンスを向上させるために、データセットの改善方法について議論していました。
しかし、検察官は、Meta幹部がAIモデルのリリースを急いだ結果、著作権で保護された書籍を含むデータの使用に不備があったと主張しています。トゥヴロン（Touvron）は、Llama2のデータセットの組み合わせが「効果が低かった」と述べ、Llama3を向上させるためにより良いデータソースを使用する方法について検討していました。アル・ダーレは「適切なデータセットがありますか？愚かな理由で利用できないものはありませんか？」と尋ねています。
MetaのCEO、マーク・ザッカーバーグは以前、LlamaモデルとOpenAI、Googleなどの企業のクローズドソースモデルとの性能差を縮小することに尽力していると述べていました。これらの内部情報は、Metaがこの目標の達成に大きなプレッシャーを感じていたことを示しています。ザッカーバーグは2024年7月の手紙で、「今年はLlama3が最先端モデルの中で競争力を持ち、いくつかの分野でリードしています」と述べています。
2024年4月、Metaは最終的にLlama3を公開しました。このオープンなAIモデルは競争で優れた成績を収め、Mistralのオープンな選択肢を上回りましたが、そのトレーニングモデルに使用されたデータ（このデータはザッカーバーグの承認を得たとされています）は、複数の訴訟の審査を受けています。
要点：
🌟 Meta幹部はLlama3の開発において、OpenAIのGPT-4モデルを凌駕することに注力していました。
💡 同社はデータ取得に積極的でしたが、著作権で制限されたデータを使用したという疑惑に直面しています。
📈 ザッカーバーグは、将来のLlamaモデルが業界をリードする最先端の選択肢になることを期待していました。
