生成系大規模言語モデル（LLM）は、複雑な自然言語処理、創作、質疑応答、コード生成など、様々なタスクにおける優れた性能で知られています。LLMは、消費レベルのGPUを搭載した家庭用PCなど、使い易いローカルシステム上で動作します。
PowerInferは、この理解を活用したGPU-CPUハイブリッド推論エンジンです。冷えた活性化ニューロンをCPUにプリロードして計算を行い、活発な活性化ニューロンをGPUにプリロードして即座にアクセスできるようにします。
評価の結果、PowerInferは現在のllama.cppシステムと比べて11.69倍高速でありながら、モデルの忠実度を維持していることが示されました。
結論として、PowerInferはLLMの推論速度を大幅に向上させ、GPU機能が限られたデスクトップPC上での実行に適していることを示しています。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
最近、Qwen VLoマルチモーダル大規模モデルが正式にリリースされました。このモデルは画像の内容理解と生成において顕著な進展を遂げており、ユーザーに新たなビジュアルクリエーション体験を提供しています。紹介によると、Qwen VLoは従来のQwen-VLシリーズモデルの利点を引き継ぎつつ、全面的なアップグレードが行われています。このモデルは、世界を正確に理解するだけでなく、理解に基づいて高品質な再創作を行うことができ、実際に「認識から生成」への飛躍を実現しています。ユーザーは現在、Qwen Chat（chat.qwen.ai）で利用できます。
中国初の海洋分野におけるオープンソース大規模モデルであるOceanGPT（聶淵）が浙江省杭州市で正式に発表されました。この革新的な成果は浙江大学海洋精密感知技術全国重点実験室が主導して開発し、中国が海洋科技分野で重要な一歩を踏み出したことを示しています。OceanGPTは基本的な海洋専門知識の質問応答機能を持ち、ソナー画像や海洋観測図などのマルチモーダルデータを自然言語で解釈できます。この能力により、OceanGPTは複雑な海洋データを処理する際にも優れた性能を発揮します。このモデルはさらに採用されています。
AI音楽企業のSunoは今週木曜日にWavToolを買収したことを発表しました。WavToolはブラウザベースのAIデジタルオーディオワークステーション（DAW）です。この買収により、Sunoは曲の作成および制作における編集能力を強化する予定です。WavToolは2023年にリリースされ、音声分離、AI音声生成、AI音楽アシスタントなど多様な機能を提供しています。これにより、Sunoが新たにリリースした編集インターフェースと統合される見込みです。今回の買収に関する具体的な条件はまだ公開されていませんが、会社のスポークスパーソンはコメントしています。
AIbase【AIニュース】へようこそ！毎日3分で当日のAIの大事件をチェックして、AI業界のトレンドや革新製品の応用を理解しましょう。より多くのAI情報は：https://www.aibase.com/zh1、テンセントが軽量な混元-A13Bモデルをリリースしました。中程度以下のGPU1枚で導入可能。テンセントが発表した混元大モデルシリーズの新メンバーである混元-A13Bモデルは、エキスパート混合（MoE）アーキテクチャを採用しており、総パラメータ数は800億で、アクティブパラメータは130億です。
騰訊は新しい「混元」大規模モデルのメンバーとなる「混元-A13Bモデル」を正式リリースし、オープンソース化しました。このモデルはエキスパート混合（MoE）アーキテクチャに基づいており、総パラメータ数は800億、アクティブパラメータは130億です。トップクラスのオープンソースモデルの性能を維持しつつ、推論遅延と計算コストを大幅に削減し、個人開発者や中小企業にとってよりコスパの良いAIソリューションを提供します。
グーグルは今週木曜日、アメリカのiOSおよびAndroidプラットフォームに、AI技術を使ってユーザーが自分に似た服を着た姿を直感的に見ることができる実験的な新アプリ「Doppl」をリリースしました。このアプリはAIを利用して、ユーザーが服を着たバーチャルイメージを作成し、静的な画像を動画に変換することさえ可能で、ユーザーに没入型の試着体験を提供します。Dopplのコア機能は、ユーザーが自分の全身の写真をアップロードし、その上で服の写真やスクリーンショットをインポートして、自分のデジタルバージョンに適用できるようにすることです。
