清華大学唐杰＆智譜AI、CogVLM-17Bを発表：国産マルチモーダルモデルがGPT-4Vに挑戦

清華大学と智譜AIが共同開発したCogVLM-17Bは、卓越した性能を持つ国産マルチモーダルモデルです。CogVLM-17Bは、画像内のオブジェクトの認識だけでなく、完全に可視的な物体と部分的に可視的な物体の区別も可能です。このモデルは独自の深層融合手法を採用し、4つの主要コンポーネントを通じて画像特徴とテキスト特徴の深層アライメントを実現しています。CogVLM-17Bは複数の分野でGoogleのモデルを凌駕し、「14角形戦士」と称されるなど、その性能の高さが示されています。