清華大学と哈爾濱工業大学が共同で提案したOneBit手法は、大規模モデルを1bitに圧縮することに成功し、83%の性能を維持しました。この手法は従来の2bitという制限を突破し、1bit量子化を採用することで、学術界から大きな注目を集めています。
1bit層構造、SVIDベースのパラメータ初期化、量子化感知トレーニングを組み合わせることで、この手法は新たな分野を切り開きました。この画期的な成果は、PCやスマートフォンへの大規模モデルの展開における新たな可能性を示唆しており、モバイル機器上での大規模モデルの高効率実行という展望を実現する見込みです。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
清華大学と上海交通大学が共同で発表した最新の論文は、強化学習（RL）が巨大言語モデルの推論能力を向上させると広く信じられている見解に異議を唱える挑戦的な反論を提示しています。研究によると、強化学習を取り入れたモデルは、一部のタスクにおいて、強化学習を使用していない元のモデルよりも性能が劣ることが分かりました。
【AIデイリーニュース】へようこそ！AIの世界を探求するための毎日更新のガイドです。毎日、AI分野のホットなトピック、開発者への注目、技術トレンドの理解、革新的なAI製品のアプリケーションに関する情報を提供します。最新のAI製品はこちらをご覧ください：https://top.aibase.com/1、DeepSeekオープンソースウィーク初日：巨大言語モデルアクセラレータFlashMLAを発表、デコード性能は3000GB/sに
昨日、閃極科技は、国内初の量産型AI撮影眼鏡「閃極AI拍拍鏡」を発表しました。このAI撮影眼鏡の価格は1499元ですが、最初の5万台のコラボレーション版は999元という特別価格で提供され、300日間チェックインで200日間の全額返金キャンペーンも行われています。閃極AI拍拍鏡は業界で初めて、ソニー製1600万画素、123度超広角レンズのカメラモジュールを搭載し、紫光展鋭製のフラッグシップ級低消費電力ARMプラットフォームも備えています。この眼鏡には6500mAhの大容量バッテリーリングも付属しており、HI-Fに対応しています。
Meta AIは最近、新しい量子化版Llama 3.2モデル（1Bと3Bの2つのバージョン）を発表しました。このモデルは、様々なデバイスで微調整、蒸留、展開が可能です。以前は、Llama 3のようなモデルは自然言語理解と生成において顕著な成果を上げていましたが、その巨大なサイズと高い計算需要により、多くの組織にとって利用が困難でした。長いトレーニング時間、高いエネルギー消費、高価なハードウェアへの依存は、テクノロジー大手と中小企業との間の格差を拡大させていました。Llama 3.2は…
最近、AI業界で奇妙な事件が発生しました。まるで食べ放題のYouTuberが自作料理を食べ始め、ますます中毒になり、料理の質が悪化していくようなものです。これは非常に恐ろしいことであり、専門用語ではモデル崩壊（model collapse）と呼ばれます。モデル崩壊とは何か？簡単に言えば、AIモデルが学習中に大量に自己生成データを使用すると、悪循環に陥り、生成されるデータの質が低下し、最終的に機能しなくなることです。これは閉鎖された生態系のようなもので、AIモデルがそのシステムなのです。
最近、ケンブリッジ大学などの研究チームが重要な論文を発表し、大規模言語モデル（LLM）の真の姿を明らかにしました。最新のLLMの実際のパフォーマンスを深く分析した結果、衝撃的な事実が判明しました。— 期待されていたAIモデルは、多くの基本的なタスクにおいて、想像していたほど優れたパフォーマンスを発揮していないのです。この研究では、o1-previewを含む複数の最先端モデルを包括的に評価しました。その結果、AIモデルと人間の理解力には顕著な違いがあることが示されました。驚くべきことに、モデルは人間が認識する...
見出し：AIの「ゴッドマザー」李飛飛氏が設立したWorld Labsが2億3000万ドルの資金調達に成功！ スタンフォード大学の教授であり、AIの「ゴッドマザー」と呼ばれる李飛飛氏の新興企業World Labsは、Andreessen Horowitz、NEA、Radical Venturesなどの著名なベンチャーキャピタルから2億3000万ドルの資金調達を行いました。この資金調達により、World Labsの評価額は10億ドルを超えました。
昆侖万維科技股份有限公司は先日、同社が開発した2つの新しい報酬モデル、Skywork-Reward-Gemma-2-27BとSkywork-Reward-Llama-3.1-8Bが、国際的に権威のある報酬モデル評価ベンチマークRewardBenchで卓越した性能を示したと発表しました。特にSkywork-Reward-Gemma-2-27Bモデルはトップの座を獲得し、RewardBench公式から高い評価を得ています。
長文脈理解は自然言語処理分野における重要な課題であり、特に大規模言語モデル（LLM）がコンテキストウィンドウサイズを超えるテキストを処理する場合に顕著です。この問題に対処するため、研究者らはLooGLEベンチマークテストを開発しました。これは、超長文書（平均19.3k単語、計776篇、多様な分野を網羅）を処理する際のLLMの長文脈理解能力を評価することを目的としています。LooGLEは、短依存関係と長依存関係を網羅する7つのタスクを含んでおり、様々な長さのテキストに対するモデルの理解度を評価します。テストデータは2022年以降の公開文献から取得されています。
Metaが、Llama 3 405Bと呼ばれるオープンソースの大規模言語モデルを発表予定です。これは、現在までに存在する中で最大のパラメータ数（4050億）を持つモデルであり、史上最大のオープンソースモデルでもあります。画像とテキスト間の自由な変換が可能なため、従来のテキストのみを処理できるという限界を克服します。Llama 3 405Bは7月23日に公開予定で、オープンソースであることから、AIモデルへのアクセスと利用方法が大幅に向上し、AIコミュニティの透明性も高まります。開発者にとって、4050億個のパラメータにアクセスできることは...