陈沛/文 AI近来在学术研究领域的应用进展很快。除了用AI写论文,最近还出现了用AI辅助评审论文的研究分析。
AI评审论文更倾向于打高分
瑞士洛桑联邦理工学院近期发表了一篇研究成果,他们分析了今年国际顶级AI学术会议ICLR 2024(2024年国际学习表征会议)上的28028篇论文评审意见,指出至少有4428篇评审意见是用AI工具辅助给出的,AI审稿比例达到15.8%。
除了提供评审意见,审稿人还要对AI论文按照1至10分打分,高分表示该论文会被大会接受,低分则表示拒绝。
上述研究还发现,AI在审稿得分上更倾向于给出高分。尤其是对那些得到5分或6分、处在是否被会议接受边缘的论文,AI辅助审稿给出的接受率要比人类审稿高出4.9个百分点。
使用AI进行学术评价还为时尚早
由于AI在研究者中得到越来越多应用,因此学术评价中非常关注如何识别论文中的AI生成内容。
例如上述瑞士洛桑联邦理工学院的研究中,就是基于AI生成内容识别工具GPTzero,再结合分类评审、校正假阳性率、结果验证等方法,综合得出结果。
不过与AI审稿倾向于打高分的情况相反,如果直接使用GPTzero进行学术查重,则有可能产生更多误伤。曾有实验测试将美国宪法原文输入GPTzero,也会被判定成是AI生成的内容。而在技术原理上也确实难以完全识别出AI生成内容。
因此,不仅在学术评价领域,还有在法律、经济等生成结果会对现实社会造成重要影响的领域,应用AI的过程都需要慎之又慎。
AI应用对未来研究本质的思考
虽然AI用于学术领域的效果还有待完善,但是必须承认AI进入日常学术研究中的普及趋势已不可避免。
不仅有越来越多的研究者在应用AI工具比较论文、生成摘要、分析数据以及润色内容,而且评审者也开始使用AI工具加快审稿流程,共同促进研究创新持续提速。
毫无疑问,在AI工具的帮助下,人类分析、总结、对比各领域知识的效率将得到持续提升。那么着眼未来,我们将需要用AI来做更多更贴近研究本质的事情。
一方面是让AI自行发现新的研究规律。既然AI处理知识的效率比人类更高,那么我们将会推动AI去自行探索、联系并找到新的规律,形成新的研究成果。
另一方面是让AI加速实现研究成果普惠。让AI降低普通大众获取、学习、利用最新研究成果的门槛,让新发现的研究成果能够更快地惠及对应的用户群体。