Meta被曝禁止工程师使用Anthropic的Claude Code和OpenAI的Codex，此举揭开AI企业间“模型蒸馏”博弈序幕。蒸馏指利用强模型输出训练新模型，Meta的核心忧虑是防范对手通过员工使用竞品工具，间接获取数据或知识以复制优化自身模型。
苹果与谷歌在AI领域展开深度合作，计划在iOS 27中坚持隐私优先，专注本地端侧AI处理。通过“知识蒸馏”技术，苹果利用谷歌Gemini大模型训练轻量级端侧模型，将大模型知识迁移至小模型，提升设备端AI体验而不牺牲用户隐私。
苹果利用知识蒸馏技术，将谷歌Gemini云端大模型转化为适用于iPhone的轻量化端侧组件。根据2026年3月消息，苹果与谷歌达成协议，允许其工程师深度访问并研究Gemini全量模型。此举增强了苹果在AI领域的自主性，使其能直接借鉴Gemini的高质量输出与推理过程。
微博推出开源大模型Vibe Thinker，仅15亿参数却在数学竞赛基准测试中击败6710亿参数的DeepSeek R1，准确率更高且训练成本仅7800美元。采用轻量化MoE架构与知识蒸馏技术，仅需5GB数学语料即可微调，支持Hugging Face下载和商用。该模型在AIME等国际数学竞赛中表现优异。
多模态语音大型语言模型
高效准确的AI语言模型
Anthropic
$21
Input tokens/M
$105
Output tokens/M
200
Context Length
Bytedance
$0.8
$2
128
Huawei
-
32
Tencent
24
Alibaba
$0.5
Iflytek
8
Baidu
131
$1.5
$6
Openai
$525
$1050
Stepfun
250
Deepseek
$1
TeichAI
本模型是基于Qwen3-4B架构的知识蒸馏模型，通过约5440万个由Gemini 2.5 Flash生成的标记进行训练，旨在整合Gemini-2.5 Flash的行为、推理过程和知识到单一数据集中。
Jackrong
本项目通过创新的两阶段训练流程，将GPT的推理能力蒸馏到Llama-3.1-8B模型中。首先通过监督微调进行知识蒸馏和格式对齐，然后利用强化学习激励模型自主探索和优化推理策略，专注于数学推理领域的能力突破。
timm
这是一个基于DINOv3框架的视觉Transformer模型，通过知识蒸馏技术从DINOv3 ViT-7B模型在LVD-1689M数据集上训练得到。该模型专门用于图像特征编码，能够高效提取图像特征表示，适用于各种计算机视觉任务。
这是一个基于DINOv3架构的视觉Transformer模型，采用小型(Small)配置，在LVD-1689M数据集上通过知识蒸馏训练而成。该模型专门用于高效提取图像特征，支持图像分类、特征图提取和图像嵌入等多种计算机视觉任务。
这是一个基于DINOv3架构的Vision Transformer图像特征编码器，通过从7B参数的DINOv3 ViT模型在LVD-1689M数据集上进行知识蒸馏得到。该模型专门用于图像特征提取任务，具有强大的视觉表示能力。
facebook
MobileLLM-Pro是Meta推出的10亿参数高效设备端语言模型，专为移动设备优化，支持128k上下文长度，提供高质量推理能力。该模型通过知识蒸馏技术训练，在多项基准测试中超越同规模模型，并支持近乎无损的4位量化。
MongoDB
mdbr-leaf-ir 是 MongoDB Research 开发的专为信息检索任务设计的高性能紧凑型文本嵌入模型，特别适用于 RAG 管道的检索阶段。该模型采用知识蒸馏技术，支持非对称架构、MRL 截断和向量量化，在 BEIR 基准测试中表现出色。
VAGOsolutions
SauerkrautLM-Reason-EuroColBERT是一款基于Late Interaction架构的强大检索器，通过知识蒸馏技术从合成数据中学习复杂推理模式。拥有2.1亿参数，在多语言推理检索方面表现出色，无需进行压缩权衡，能够在标准基础设施上部署。
rasyosef
这是一个基于BERT-Mini（1100万参数）的SPLADE稀疏检索模型，通过在MSMARCO数据集上对交叉编码器进行知识蒸馏训练得到。该模型比官方splade-v3-distilbert小6倍，但能达到其85%的性能，可在CPU上处理数千个文档。
forwarder1121
轻量级语音压力识别模型，通过知识蒸馏技术训练，适用于边缘设备实时压力检测
Freepik
由Freepik和Fal联合开发的70亿参数扩散模型，通过知识蒸馏构建，具有快速生成和高效内存使用的特点
DeepGlint-AI
UniME是一个基于多模态大模型的通用嵌入学习框架，通过文本判别知识蒸馏和硬负样本增强的指令调优策略，显著提升了多模态嵌入能力。
saurabhati
DASS是一种基于状态空间架构的音频分类模型，通过知识蒸馏技术从更大的教师模型中学习，在显著减小模型参数量的同时实现了卓越的音频分类性能。
PumeTu
一个基于SigLIP架构的轻量级视觉语言模型，通过蒸馏技术从更大的SigLIP-400m模型中提取知识，适用于零样本图像分类任务。
N-Bot-Int
MiniMaid-L2是基于MiniMaid-L1进一步优化的角色扮演专用模型，通过知识蒸馏和更大规模数据集训练，在3B规模模型中表现优异。
CrabInHoney
urlbert-tiny-base-v4是一款基于BERT架构的轻量级模型，专门针对URL（统一资源定位符）的分析任务进行了优化。该模型通过师生架构训练、掩码标记预测和知识蒸馏等技术，在保持较小参数规模（372万）的同时，增强了对URL结构和语义的理解能力，适用于需要快速、高效处理URL的分类与分析场景。
distil-whisper
Distil-Whisper是OpenAI Whisper-Large-v3的知识蒸馏版本，提供更优的性能表现和高效性。
LoneStriker
基于Qwen2.5-72B通过强化学习蒸馏的高性能数学推理与通用知识处理模型，在数学推理和通用知识任务中表现优异。
xingyang1
Distill-Any-Depth是一种新的SOTA单目深度估计模型，采用知识蒸馏算法训练而成。
Distill-Any-Depth是一种基于知识蒸馏算法训练的SOTA单目深度估计模型，能够高效准确地进行深度估计。
TransformersMultiple Languages%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
'%3e%3cpath%20d='M55.2622%2038L48.2289%2022L44.1206%2031.3333H47.2539L45.7872%2034.6667H38.7622L46.0956%2018H37.6706C36.7539%2018%2036.0039%2018.75%2036.0039%2019.6667V36.3333C36.0039%2037.25%2036.7539%2038%2037.6706%2038H55.2622Z'%20fill='white'/%3e%3cpath%20d='M64.3368%2018H50.3535L59.1535%2038H64.3368C65.2535%2038%2066.0035%2037.25%2066.0035%2036.3333V19.6667C66.0035%2018.75%2065.2535%2018%2064.3368%2018ZM63.0868%2034.6667H59.7535V21.3333H63.0868V34.6667Z'%20fill='%23FFCC66'/%3e%3cpath%20d='M89.3379%2026.75V29.25H81.8379V36.75H91.8379V24.25H81.8379V26.75H89.3379ZM84.3379%2034.25V31.75H89.3379V34.25H84.3379Z'%20fill='white'/%3e%3cpath%20d='M103.504%2036.75V29.25H96.0039V26.75H103.504V24.25H93.5039V31.75H101.004V34.25H93.5039V36.75H103.504Z'%20fill='white'/%3e%3cpath%20d='M115.17%2026.75V24.25H105.17V36.75H115.17V34.25H107.67V31.75H115.17V29.25H107.67V26.75H115.17Z'%20fill='white'/%3e%3cpath%20d='M80.1712%2029.25V29.175L78.9962%2028L80.1712%2026.825V20.425L78.9962%2019.25H69.3379V36.75H78.9962L80.1712%2035.575V29.25ZM77.6712%2034.25H71.8379V29.25H77.6712V34.25ZM77.6712%2026.75H71.8379V21.75H77.6712V26.75Z'%20fill='white'/%3e%3c/g%3e%3cg%20clip-path='url(%23clip1_644_3948)'%3e%3cpath%20d='M169.59%2022.9827L169.59%2023.6491H177.409L168.175%2032.8822L169.118%2033.8248L178.351%2024.5917L178.352%2032.4106H179.685V22.3164L179.018%2022.3157H169.59V22.9827Z'%20fill='white'/%3e%3c/g%3e%3cdefs%3e%3cclipPath%20id='clip0_644_3948'%3e%3crect%20width='80'%20height='20'%20fill='white'%20transform='translate(36%2018)'/%3e%3c/clipPath%3e%3cclipPath%20id='clip1_644_3948'%3e%3crect%20width='20'%20height='20'%20fill='white'%20transform='translate(164%2018)'/%3e%3c/clipPath%3e%3c/defs%3e%3c/svg%3e)
