最近,来自斯坦福大学等机构的研究者,将数千篇Nature、ICLR等顶会文章,输入GPT-4生成评审意见,再与人类审稿人意见比较。结果显示,GPT-4审稿意见与人类一致度超过50%,对82%作者来说也很有帮助。研究还发现,相比人类审稿人,GPT-4更关注论文的影响因子,而不太在意补充消融实验等细节。用户普遍认为GPT-4生成的审稿反馈,可以提高评审准确性,降低人力成本。本研究表明,利用LLM辅助学术论文审稿,是可行的。