微软研究团队推出的 13 亿参数模型 Orca2 在近期发布的一篇论文中探索了如何提升小型语言模型的推理能力。通过增强的训练信号，Orca2 能够在与其大小相似的模型中取得与 5-10 倍更大的模型相媲美甚至更好的性能。Orca2 的目标是教导小型语言模型采用一系列推理技巧，并帮助其确定对于特定任务最有效的推理策略。与其前身 Orca1 类似，研究团队借鉴了更强大的大型语言模型的推理策略，并根据小型模型的能力进行了细致调整。Orca2 采用了一种谨慎推理技术，即 Prompt Erasure，使其成为一种谨慎的推理者。这种技术使模型不仅能够执行具体的推理步骤，还能够在更高层面上制定任务处理策略。在实证研究中，研究人员对 Orca2 在 15 个基准测试中进行了全面评估，结果显示，Orca2 在与其大小相似的模型上明显优于它们，甚至在需要高级推理的任务上与 5-10 倍更大的模型相媲美甚至超过。提升小型模型的能力将为不同的应用部署场景开辟新的可能，并在效率和功能之间找到平衡。