快手と上海交通大学が共同でOrthusモデルを発表 多モーダル生成の新境界を突破
快手と上海交通大学は、ICMLカンファレンスでオープンソースの多モーダル生成モデルOrthusを発表しました。このモデルは、自己回帰型Transformerアーキテクチャに基づいており、画像とテキストの変換タスクにおいて優れた性能を発揮し、計算効率は既存モデルよりも顕著に優れています。Orthusは独自のアーキテクチャ設計により、特定のモーダル生成ヘッダーを用いて画像とテキストの特徴を分離して処理し、統一された表現空間で効率的に融合させています。研究結果によると、このモデルは画像理解やテキストから画像生成のタスクにおいて専門モデルを上回り、画像編集などの応用シーンでも大きな潜在力を示しています。これは多モーダル生成の新しい重要な進展です。