Meta 推出创新模型 AU-Nets,革新文本处理方式
Meta研究团队推出创新架构AU-Net,突破传统分词技术限制。该模型直接从字节学习,通过自回归U-Net结构动态组合字节形成多层次序列表示。其收缩路径压缩字节为语义单元,扩张路径还原信息并融合细节,配合跳跃连接保持局部特征。采用多阶段池化策略,在单词边界和词组层面提取语义,通过多线性上采样优化信息融合。自回归生成机制确保文本连贯性,显著提升推理效率。该架构为低资源语言处理提供新思路,展现更强灵活性。开源地址:github.com/facebookresearch/lingua