生成AI分野において、アップルの取り組みはモバイルデバイス、特に最新のiOS18に重点を置いているように見えます。しかし、最新Mac miniとMacBook Proに搭載された新しいApple M4チップは強力な性能を発揮し、MetaのLlama-3.1405B、NvidiaのNemotron70B、Qwen2.5Coder-32Bといった、現在最も強力なオープンソースの大規模言語モデル（LLM）を効率的に実行できます。
Exo Labsは2024年3月に設立されたスタートアップ企業で、「AIへのアクセスを民主化」することを目指しています。共同設立者のアレックス・チーマ（Alex Cheema）氏は、複数のM4デバイスを用いてローカルコンピューティングクラスタを構築することに成功しました。
彼は、4台のMac mini M4（1台599ドル）と1台のMacBook Pro M4 Max（1599ドル）を接続し、Exoのオープンソースソフトウェアを使用してアリババのQwen2.5Coder-32Bを実行しました。クラスタ全体の費用は約5000ドルで、25000ドルから30000ドルのNvidia H100 GPUと比較して、非常にコストパフォーマンスが高いです。
ローカルコンピューティングクラスタをネットワークサービスではなく使用する利点は明らかです。ユーザーまたは企業が管理するデバイス上でAIモデルを実行することで、コストを削減し、プライバシーとセキュリティを向上させることができます。チーマ氏によると、Exo Labsはエンタープライズ向けソフトウェアの改良を続けており、現在いくつかの企業がExoのソフトウェアを使用してローカルAI推論を行っており、この傾向は今後個人や企業へと拡大していくでしょう。
Exo Labsの最近の成功は、世界最速のGPUコアと呼ばれるM4チップの強力な性能によるものです。
チーマ氏によると、Exo LabsのMac mini M4クラスタは、Qwen2.5Coder32Bを毎秒18トークンの速度で、Nemotron-70Bを毎秒8トークンの速度で実行できます。これは、ユーザーがクラウドインフラに依存することなく、AIトレーニングと推論タスクを効率的に処理できることを示しており、プライバシーとコストを重視する消費者や企業にとってAIがより身近なものになります。
このローカルAIイノベーションの波をさらに支援するために、Exo Labsは、詳細なハードウェア構成の比較を提供し、ユーザーがニーズと予算に応じて最適なLLM実行ソリューションを選択できる無料のベンチマークテストウェブサイトを公開する予定です。
プロジェクト入口:https://github.com/exo-explore/exo
要点：
🌟 Exo LabsはApple M4チップを利用し、ローカルコンピューティングクラスタ上で強力なオープンソースAIモデルの実行に成功しました。
💰 ローカルでAIモデルを実行することで、コストを削減し、プライバシーとセキュリティを向上させ、クラウドサービスへの依存を回避できます。
📊 Exo Labsは、ユーザーが適切なハードウェア構成を選択してAIタスクを実行できるよう、ベンチマークテストウェブサイトを公開する予定です。
