人工智能初创公司Inception重获新生,完成5000万美元融资,由Menlo Ventures领投,微软M12、英伟达等参投。公司创始人Mustafa Suleyman曾于2024年将公司售予微软,如今再度复活。Inception正押注新型扩散语言模型(dLLM),该架构区别于传统自回归大模型(LLM),有望带来技术突破。
AI初创公司Inception获5000万美元融资,由Menlo Ventures领投,微软、英伟达等参投。创始人Mustafa Suleyman曾将公司售予微软后专注写作,现公司重点转向扩散模型(dLLMs),与传统自回归大语言模型形成技术差异。
蚂蚁集团开源dInfer框架,专用于扩散大语言模型高效推理。该框架将推理速度提升10倍,在保持同等模型性能下超越传统自回归模型。自回归模型逐字生成文本速度受限,扩散模型通过去噪过程实现更高效推理,推动自然语言处理技术发展。
10月13日,蚂蚁集团开源业界首个高性能扩散语言模型推理框架dInfer。基准测试显示,其推理速度较英伟达Fast-dLLM提升10.7倍;在HumanEval代码生成任务中,单批次推理速度达1011Tokens/秒,首次在开源社区实现扩散模型单批次推理速度超越自回归模型,证明扩散语言模型具有显著效率潜力。
大规模视频生成的自回归扩散模型
Openai
$2.8
Input tokens/M
$11.2
Output tokens/M
1k
Context Length
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
$7.7
$30.8
200
-
Anthropic
$105
$525
$0.7
$7
$35
$17.5
$21
Alibaba
$4
$16
$1
$10
256
$2
$20
$6
$24
Baidu
128
Bytedance
$1.2
$3.6
4
radicalnumerics
RND1是一个实验性的扩散语言模型,拥有300亿参数,采用稀疏专家混合架构。该模型从预训练的自回归基础模型转换而来,支持基于扩散的文本生成,每个标记仅激活30亿参数,在计算效率和模型容量之间取得平衡。
JetLM
SDAR是一种新型大语言模型,集成了自回归和离散扩散建模策略,结合了AR模型高效训练和扩散模型并行推理的优势。在通用任务上与SOTA开源AR模型相当,在科学推理任务上表现出色,成为最强大的扩散语言模型。
CypressYang
SongBloom是一个创新的全长歌曲生成框架,采用自回归草图绘制和基于扩散的细化交错范式,结合了扩散模型的高保真度和语言模型的可扩展性,能够生成高质量的全长歌曲。
rp-yu
Dimple是首个结合自回归与扩散训练范式的离散扩散多模态大语言模型(DMLLM),在LLaVA-NEXT相同数据集上训练后,以3.9%的优势超越LLaVA-NEXT-7B。
Skywork
SkyReels V2是首个采用自回归扩散强制架构的开源视频生成模型,支持无限长度电影生成,在公开模型中实现了最先进的性能表现。
SkyReels V2是一个无限长度电影生成模型,采用自回归扩散强制架构,支持高质量视频生成。
SkyReels V2是一款无限长度电影生成模型,采用自回归扩散强制架构,支持高分辨率视频生成。
SkyReels V2是一个无限长度电影生成模型,采用自回归扩散强制架构,支持文生视频和图生视频任务,能够生成高质量的长视频内容。
SkyReels V2 是一个采用自回归扩散强制架构的开源视频生成模型,支持无限长度电影生成,在公开模型中实现了最先进的性能表现。
SkyReels V2是一个无限长度电影生成模型,采用自回归扩散强制架构,支持720P高清视频生成,在公开模型中达到SOTA性能。
SkyReels V2是首个采用自回归扩散强制架构的开源视频生成模型,支持无限时长电影生成,在公开模型中实现最先进的性能表现。
kuleshov-group
BD3-LMs 是一种结合自回归与扩散模型优势的语言模型,通过块离散扩散实现高效序列生成
BD3-LMs 是一种结合自回归和扩散模型优势的语言模型,通过块离散扩散实现高效序列生成。