斯坦福等大学团队提出“语言化采样”方法,通过在提示中要求模型“生成5个响应及其概率”,有效提升生成式AI的创作多样性。该方法适用于语言和图像模型,能激发更丰富的创造力输出。
Meta研究团队推出创新架构AU-Net,突破传统分词技术限制。该模型直接从字节学习,通过自回归U-Net结构动态组合字节形成多层次序列表示。其收缩路径压缩字节为语义单元,扩张路径还原信息并融合细节,配合跳跃连接保持局部特征。采用多阶段池化策略,在单词边界和词组层面提取语义,通过多线性上采样优化信息融合。自回归生成机制确保文本连贯性,显著提升推理效率。该架构为低资源语言处理提供新思路,展现更强灵活性。开源地址:github.com/facebookresearch/lingua
智谱AI开放平台宣布免费开放GLM-4-Flash模型,旨在推动AI应用创新。该模型以高速和经济性著称,适用于快速响应的简单任务,支持多轮对话、网页浏览、Function Call和长文本推理,覆盖26种语言。通过优化技术,如自适应权重量化、并行化、批处理和投机采样,GLM-4-Flash显著降低了推理成本,预训练阶段获得超过10T高质量多语言数据。模型在逻辑推理能力测试中表现出色,生成速度达到72.14token/s。其功能包括实时网页检索、函数调用等。在多个领域展现潜力,如生物研究、教育、翻译和广告。为鼓励用户反馈,提供限时免费微调福利,完成调查问卷即可获得训练资源包。
["大语言模型的性能会随着实例化agent数量的增加而增强","多个小模型超过大模型的性能","实验结果表明多个小LM集成可以达到甚至超越较大LM的性能","论文探讨了性能提升与问题难度之间的关系","作者提出了逐步采样和投票、分层采样和投票两种优化策略"]
Anthropic
$105
Input tokens/M
$525
Output tokens/M
200
Context Length
Alibaba
$1
$10
256
$2
$20
-
$3.9
$15.2
64
Bytedance
$0.8
Moonshot
$4
$16
$0.15
$1.5
128
Baidu
32
Xai
$1.4
$10.5
$8
Tencent
$1.6
Openai
$8.75
$70
400
$1.75
$14
24
Iflytek