近年、ビジョン大規模言語モデル（Large Vision Language Models、LVLMs）は画像理解やクロスモーダルタスクにおいて卓越した能力を示していますが、同時に「ハルシネーション現象」の問題も顕著になっています。この課題に対処するため、タオティエングループの未来生活研究所チームは、「トークン選好最適化」(Token Preference Optimization、略称：TPO) と呼ばれる新しい手法を提案し、自己校正機構を導入しました。
先日、Xiaomiは、大規模言語モデルを搭載したXiao AIの音楽機能に、新しい「音楽Q＆A」機能を追加し、複数のデバイスでこの新機能に対応すると発表しました！この機能は、スマートフォンや車載機器など、さまざまなデバイスで使用できます。ユーザーは、Xiao AIのLarge Language Modelを最新バージョンにアップデートするだけで、この新機能を体験できます。Xiaomiの説明によると、「音楽Q＆A」機能は、人工知能能力の向上に基づいており、ユーザーは楽曲情報の検索や専門的な音楽知識の質問などに利用できます。スマートフォンでも車載機器でも、ユーザーはXiao AIと簡単にやり取りできます。
人工知能の急速な発展において、ORYXというマルチモーダル大規模言語モデルが、AIによる視覚世界の理解能力に対する認識を静かに変えつつあります。清華大学、テンセント、南洋理工大学などの研究者によって共同開発されたこのAIシステムは、画像処理分野におけるトランスフォーマーと言えるでしょう。ORYX（Oryx Multi-Modal Large Language Modelsの略）は、画像、ビデオ、3Dシーンの时空理解を処理するために特別に設計されたAIモデルです。その核心は…
Metaは先日、Meta LLMコンパイラ（Meta Large Language Model Compiler）を発表し、プログラミング業界全体に衝撃を与えました。 LLMコンパイラのFTD（ファインチューニング版）は、コードサイズの最適化において5.24%の向上を実現し、最適化オプション-Ozを上回りました。一方、GPT-4 Turboはわずか0.03%でした。
amd
PARD is a high-performance speculative decoding method that can convert autoregressive draft models into parallel draft models at low cost, significantly accelerating the inference of large language models.
KoboldAI
これは、Artetxeらの論文『Efficient Large Scale Language Modeling with Mixtures of Experts』におけるオリジナルの密集型67億パラメータモデルのHugging Face transformers適合バージョンです。
Transformers%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
