字节跳动创始人张一鸣在内部会议中强调大模型研发需坚持长期主义与延迟满足感,反对为短期榜单排名而利用他人模型输出的蒸馏技术。他表示即便暂时落后,Seed团队也绝不依赖蒸馏改进模型。此举回应了Anthropic等公司对模型蒸馏的指责。
微软发布两款自研AI模型:高精度图像模型MAI-Image-2.5-Pro,GPU成本最高降84%;语音模型MAI-Voice-2-Flash,专攻高并发交互。训练数据清洁可追溯,不依赖第三方模型蒸馏,从设计之初即面向微软产品用户。
Meta被曝禁止工程师使用Anthropic的Claude Code和OpenAI的Codex,此举揭开AI企业间“模型蒸馏”博弈序幕。蒸馏指利用强模型输出训练新模型,Meta的核心忧虑是防范对手通过员工使用竞品工具,间接获取数据或知识以复制优化自身模型。
Meta 严格管控内部 AI 工具使用,限制工程师使用 Anthropic 的 Claude Code 及 OpenAI 的 Codex,决策与成本效率无关,纯粹出于核心技术安全考量,旨在防范竞品通过模型蒸馏窃取机密。这项规范早在今年 5 月已实施。
一种用于零样本定制图像生成的扩散自蒸馏技术
基于FLUX.1-dev模型的8步蒸馏Lora,用于文本到图像生成。
开源AI模型,可微调、蒸馏、部署。
高性能图像生成模型的蒸馏加速版本
Xai
$1.4
Input tokens/M
$3.5
Output tokens/M
2k
Context Length
Anthropic
$105
$525
200
Google
$0.7
$2.8
1k
$7
$35
$2.1
$17.5
$21
Alibaba
-
Baidu
128
$6
$24
256
Bytedance
$1.2
$3.6
4
$2
$3.9
$15.2
64
featherless-ai-quants
DeepSeek-R1-Distill-Qwen-14B 是一个经过优化的14B参数规模的大语言模型,由DeepSeek AI发布,基于Qwen架构蒸馏而来,提供多种GGUF量化版本以提升性能。
sergeyzh
该模型用于计算俄语和英语句子的嵌入向量,通过蒸馏ai-forever/FRIDA的嵌入向量获得。模型属于uncased类型,不区分文本中的大小写字母。
timm
AIM-v2是一个基于timm库的图像编码器,采用蒸馏训练方法,适用于图像特征提取任务。