先ごろ、テクノロジー大手の英偉達はマサチューセッツ工科大学(MIT)および香港大学と共同で、Fast-dLLMと呼ばれる新しいフレームワークを公開しました。この革新的なフレームワークは、拡散ベースの言語モデル(Diffusion-based LLMs)の推論速度を最大で27.6倍まで高速化し、人工知能の応用にさらなる強力な技術サポートを提供します。拡散モデルの課題と機会として、拡散モデルは従来の自己回帰モデル(Autoregressive Models)の強力なライバルと見られています。
Visual Autoregressive Modeling:新たな画像生成パラダイム
amd
PARD is a high-performance speculative decoding method that can convert autoregressive draft models into parallel draft models at low cost, significantly accelerating the inference of large language models.