カリフォルニア大学バークレー校の研究者らが最近、大規模世界モデル(LWM)をオープンソース化しました。このモデルは一度に100万件のデータを読み解くことができ、テキストから動画や画像を生成する能力を備えています。Ring Attention技術を用いることで、長シーケンスの注意機構計算という課題を解決し、多様な情報の高効率処理を実現しました。言語モデルの事前学習と多様な情報の事前学習という2段階を経て、注目すべき成果を上げています。