月之暗面创始人杨植麟在英伟达GTC2026大会上首次系统披露Kimi K2.5模型技术路线图,强调大模型发展已进入“后Scaling时代”,需重构底层逻辑,而非单纯堆砌算力。他指出,突破智能上限关键在于优化器、注意力机制及残差连接等核心技术的革新。
Kimi公司发布论文《Attention Residuals: Rethinking depth-wise aggregation》,提出注意力残差新方法,优化深度聚合机制。特斯拉CEO马斯克在社交媒体点赞,称其为“亮眼工作”。Kimi官方幽默回应,引发全球AI社区热议。
nota-ai
BK-SDM是一种经过架构压缩的稳定扩散模型,通过移除U-Net中的残差和注意力块,并在有限数据上进行知识蒸馏训练,实现了高效的文本到图像合成。该模型在保持良好生成质量的同时大幅减少了参数数量。
BK-SDM是通过架构压缩的稳定扩散模型,用于高效通用文生图合成,通过移除U-Net中的残差和注意力块实现轻量化。