Anthropicの創設者であるDario Amodei氏はインタビューで、スケーリング則に関する見解を共有しました。モデルの能力は今後2～3年で、徐々に人間に近づき、あるいは人間を凌駕するようになるでしょうが、それでも一部のタスクでは人間に劣るでしょう。説明可能性はモデルの安全性を確保するために極めて重要であり、研究者がモデル内部の動作を理解し、リスクを特定するのに役立ちます。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
最近、人工知能企業Anthropicは、「責任ある展開」ポリシーの最新アップデートを発表し、追加の安全対策が必要なモデルを明確にしました。この取り組みは、新技術の導入前に潜在的なリスクを効果的に軽減することを目的としています。Anthropicのブログによると、AIモデルのストレステストにおいて、化学兵器や生物兵器の開発を支援する可能性が「リソースの限られた国家主体」によって発見された場合、Anthropicはその技術の正式な導入前に対応するということです。
元OpenAIの最高科学責任者Ilya Sutskever氏によって設立されたSafe Superintelligence（SSI）は、安全で人間を超える能力を持つAIシステムの開発を目指しています。同社は10億ドルを調達し、評価額は50億ドルに達しました。市場への早期参入ではなく、AIの安全性と超知能技術の研究開発に重点を置いています。SSIは倫理観と可能性を重視した採用基準を採用し、革新的な思考を通じてAI技術が将来人類に役立ち、リスクを軽減することを目指しています。Ilya Suts氏率いる…
非営利研究団体である機械知能研究所（MIRI）は、安全上の問題が人類の生存を脅かす可能性があるとして、基礎モデルまたは「最先端」モデルの研究を世界的に停止するよう呼びかけています。基礎モデルとは、さまざまな形態に応用できる人工知能システムのことです。MIRIは、基礎モデルが人間よりも賢くなり、「人類を滅ぼす」可能性があると主張しています。
OpenAIの共同設立者の一人であり、前最高科学責任者であったIlya Sutskever氏は、退職からわずか1ヶ月で、2人の元同僚と共にSafe Superintelligence Inc.(SSI)という新会社を設立しました。同社は、超知能AIシステムの安全性問題に取り組んでいます。
OpenAIとDeepMindは、スケーリング則研究において異なる視点とアプローチを取っています。スケーリング則は、大規模モデルのパラメータ数、データ量、計算量の変動に伴う損失変化を予測するものです。この競争は、人工知能の発展と人とAIが共存する未来の形成を促進します。大規模言語モデルの事前学習には、モデルサイズ、データ量、トレーニングコストのトレードオフが伴います。スケーリング則は、最適な設計意思決定を支援します。DeepMindは、モデルサイズとデータ量を同等に拡大すべきだと提唱しています。OpenAIは...
Anthropicが最新の大規模言語モデルClaude 3を発表しました。GPT-4を凌駕し、15万語の長文を理解できる多様な能力を備えています。Haiku、Sonnet、Opusの3つのバージョンが用意され、それぞれのユースケースに対応します。AnthropicはAI安全性に慎重なアプローチを取り、Claude 3では無害な情報を拒否する応答率が低下しています。Anthropicは商業化のスピードアップを目指しており、2024年末の年間収益は8.5億ドルに達すると予想されています。
大規模モデルの成功は、スケーリング則の存在に大きく依存しています。研究者たちは、転移学習におけるスケーリング則を探求し、下流BLEUスコアと下流クロスエントロピーという2つの指標を調査しました。事前学習データセットのサイズと、タスクの微調整後の下流タスクのパフォーマンスの関係を分析し、クロスエントロピー損失は常に良い指標となるか、BLEUスコアは対数則により近いかどうかを検証しました。研究者たちは、事前学習データセットの目標下流タスクへの価値を評価するための2つのガイドラインを示し、実験結果から、事前学習がBLEUスコアに影響を与えることを明らかにしました。