アップルはまたしても大ニュースを発表しました。こっそりと「FastVLM」というモデルをリリースしたのです。名前だけ聞くと少し混乱しそうですが、簡単に言うと、これでiPhoneが一瞬にして「火眼金睛」を手に入れるんです。画像に含まれる複雑な情報を理解するだけでなく、「ツッコミ芸人」のようにユーモアを交えて返答してくれるんです！そしてそのすごいところは、そのスピードの速さ！アップルの公式発表によると、初めて返答をするまでの時間が従来のモデルと比べてなんと85倍も早くなったんです。まさに驚異的な進化です！
あなたもスマホのAIアシスタントってつまらない返答ばっかりしてきて「何それ？」って感じたことありませんか？複雑な画像を見せても「分かりません」としか言えないとか。でも、FastVLMがその問題を解決してくれるんです！世界を救うのはiPhoneじゃない、FastVLMかもしれません。
“図盲”時代の終わり: 高解像度画像を理解するのはなぜ難しいのか?
FastVLMの素晴らしさを理解するには、従来のAIモデルが高解像度画像を処理する際にどうして「詰まる」のかを知ることが重要です。例えば、高解像度画像は非常に大きな情報倉庫みたいなもので、たくさんのピクセルで埋め尽くされています。従来の視覚エンコーダー（つまりAIの「目」）は、この画像を大量の「視覚トークン」（画像の小さな断片のようなもの）に分解します。そのトークンの数が多すぎて、後段の言語モデル（AIの「頭脳」）が処理しきれないため、処理が遅くなるばかりか、まったく無理になってしまうのです。
これは例えば、複雑な宝探しゲームの地図を見せるときを想像してください。そこに記載された数百個の宝の位置を見分けるのは、子供にとってとても難しいですよね。これが従来のモデルが抱える問題です: あまりにも多くの情報を処理しすぎてしまうため、効率が悪くなります。そしてさらに、これらの「視覚トークン」を生成するプロセス自体にも時間がかかるので、全体の反応速度がさらに遅くなってしまいます。
だからこそ、高解像度画像の理解力を向上させることが、AIモデル開発における大きな課題だったのです。
FastVLMの秘密兵器: FastViTHD登場!
この問題を解決するために、アップルのエンジニアたちは秘密兵器「FastViTHD」を投入しました。名前はSF映画のような響きですが、その仕組みはとても興味深いです。従来の視覚エンコーダー（ViTなど）は画像を処理する際に単純で「直線的」ですが、FastViTHDは「マルチタスク型」です。それは、畳み込み層とトランスフォーマー層を組み合わせた「ハイブリッド」構造を採用しているからです。
畳み込み層は、経験豊富な探偵のように画像から重要な情報を段階的に抽出します。そして、異なるサイズの画像にも非常に柔軟に対応できます。一方、トランスフォーマー層は情報の統合に長けており、探偵が集めた情報を深く分析します。FastViTHDはこの利点を活かし、高解像度画像を処理する際、生成する視覚トークンの数を賢く減らすことができます。探偵が重要な手がかりだけを情報分析者に渡すのと同じように、分析者の負担を大幅に軽減するわけです。
それに加え、FastViTHDは視覚トークンの生成自体も効率よく行い、エンコード時間を短縮しています。そのため、あなたのiPhoneが画像を「理解」し始めるまでの時間が劇的に短縮され、すぐに「考える」ことができるようになります。
普通とは違うアプローチ: アップル流「ラクラク」最適化法
さらに驚くべきは、FastVLMが視覚トークンの数と画像の解像度のバランスを取る際、非常にシンプルな「ラクラク」最適化法を使っていることです。それは単に画像のサイズを調整するだけで済む、複雑な「トークン剪枝」のような手間を一切必要としないのです。これにより、モデルの設計はより簡潔になり、モバイルデバイス上で効率よく動作させることができます。
これは例えば、たくさんの料理を前にして、普通のモデルはすべての料理を細かく切ってから評価しなければならないのに対して、FastVLMは全体を一度見ただけで判断できるんです。そして、あなたの「胃袋」（入力画像のサイズ）によってどれだけ見るかを決めるだけで、余分な工程は不要。実に賢い方法ですね。
スピードとパフォーマンス: 思い出せないほどの速さ!
FastVLMの最も誇るべき特徴はその驚異的なスピードです。従来のモデルとの比較において、「最初のトークン生成時間」（Time-to-First-Token, TTFT）で大きな飛躍を遂げています。簡単に言うと、TTFTとはあなたがAIに質問して、最初の一文字（または単語）が返ってくるまでの時間のことです。この時間が短いほど、AIの応答が速いと感じるでしょう。
アップルはLLaVA-1.5の設定でテストを行い、結果としてFastVLMのTTFTが3.2倍も向上したことが確認されました。つまり、FastVLMとやり取りする際は、ほとんど遅延を感じないという意味です。
さらに、1152×1152解像度の高解像度画像を処理する際には、LLaVa-OneVisionよりも驚異的な85倍も速いんです。85倍とはどういうことか？あなたの瞬きする間に、FastVLMはあなたに何回も返答してくれるということです！さらに、FastVLMの視覚エンコーダーのサイズは従来モデルに比べて3.4倍も小さいので、「コンパクトな中にも強力」なモデルと言えるでしょう。
これにより、iPhoneでのAI機能を使う際に「回転するローディングアイコン」のような不便がなくなり、ほぼ即座にAIがあなたの要求を理解し、返答してくれるようになります。
大きさは関係ない: 小型モデルでも大活躍!
多くの人が、モデルが大きいほど性能が良いと考えているかもしれませんが、FastVLMはそれを覆します。FastViTHDは他の大規模な視覚エンコーダーと比べてパラメータ数が非常に少ないながらも、高いパフォーマンスを発揮しています。
論文によると、FastViTHDはわずか125.1Mのパラメータしか持っていないにも関わらず、他の人気のあるViTモデルに比べて大きく少ないです。しかし、多くのVLMタスクで優れた結果を出しており、一部の大規模モデルをも上回っています。
これはまるで、筋肉の少ない敏捷なアスリートのような存在です。見た目は小柄でも、技巧と効率で勝負するタイプです。FastVLMはまさにその代表例と言えます。
トレーニング充実: 質の高いデータでさらに賢くなる!
もちろん、優秀なモデルを作るためには質の高いトレーニングデータが必要です。FastVLMのトレーニング過程では、大量の画像-テキストペアデータを使って事前学習を行ったほか、様々なタスクでのパフォーマンス向上を目的に視覚命令の微調整も行われました。
興味深いことに、FastViTHDのような相対的に「軽量級」の視覚エンコーダーであっても、より多くの質の高いトレーニングデータを与えることで、そのパフォーマンスは顕著に向上することがわかりました。これはFastVLMのアーキテクチャが優れた拡張性を持っていることを示しています。今後、トレーニングデータが増え続けるにつれて、その能力にはさらなる向上の余地があるでしょう。
これは例えば、優れた学習資料を与えれば、子どもは知識が広がり、問題解決能力が高まるのと同じ理屈です。
ただ速いだけでなく: 性能もバツグン!
FastVLMは速さだけでなく、さまざまな視覚言語理解タスクでも優れた成果を上げています。GQA、TextVQA、POPE、DocVQAなどのベンチマークテストでの結果が詳細に報告されています。これらは質問応答、テキスト理解、文書解析、幻想の除去など多岐にわたる能力を評価しており、FastVLMの「知性レベル」を総合的に測定しています。
結果は、FastVLMがこれらのテストで競争力のある成績を収めていることが示されており、特にTextVQAやDocVQAのような画像内のテキスト情報理解に特化したタスクでは非常に優れたパフォーマンスを発揮しています。
これにより、FastVLMは単に「速さ」だけでなく、あらゆる複雑な状況で画像情報を理解する「マルチタスク型」のAIとして活躍することができるのです。
未来はもうそこまで: スマホのAIが進化する!
FastVLMの登場は、モバイルデバイスにおけるAIの進化において大きな節目となります。これにより、リソースが限られたデバイス上でも高性能な視覚言語モデルが実現可能になりました。
将来を考えれば、あなたのiPhoneはただ写真を撮ったり電話をしたりするだけでなく、本当に目の前の世界を理解できるようになるでしょう。複雑なグラフを見せてデータを質問すれば答えられる、メニューの写真を見てオススメの料理を教えてくれる、複雑なマニュアルを読み込んで操作方法を教えてくれるなど、そんな未来が近づいています。
このような驚異的な可能性を実現してくれたのがFastVLMのような効率的で強力なモデルです。アップルのこの研究成果は、彼らのAI分野における実力を証明するとともに、モバイルデバイスの知能化に向けた素晴らしいビジョンを描いています。
だから、次にiPhoneを手にするときには、その中に「火眼金睛」と「ツッコミ芸人」のような才能を持つFastVLMが搭載されていることを忘れないでください。どんな時でもあなたに便利でスマートなサービスを提供してくれるでしょう！
プロジェクトURL: https://github.com/apple/ml-fastvlm
論文URL: https://www.arxiv.org/pdf/2412.13303