嚴禁AI評審!CVPR 2025重申大模型審稿0容忍,一首拒稿小詩爆笑全場
新智元報道
編輯:LRS 桃子
【新智元導讀】審稿人嚴重不足,審稿意見急劇下滑,CVPR官方坐不住了,不僅出臺了七條新規,還再三強調,禁止審稿人用大模型生成/翻譯評審結果。
CVPR的投稿量每年都在刷新紀錄,總以爲今年是巔峰,但明年只會更多。
CVPR 2024收到11532次提交,增幅達到了26%;今年的投稿增速雖然有所放緩,達到13%,但也超過了13000次提交。
投稿量過大,最直接導致的一個問題就是「高質量審稿人不足」,很多人爲了簡化審稿流程,可能會選擇用大模型進行審稿。
比如CVPR 2024大約有9000名審稿人,但投稿作者的數量卻超過了30000,爲了平衡投稿與審稿,這屆CVPR提出了七條審稿新規,來限制不負責任的審稿結果。
目前,CVPR 2025的審稿即將開啓,今天也是區域主席提交推薦審稿人的最後期限,與此同時,官方推特再次發文強調了,絕對禁止使用大模型在「任何流程」中參與審稿!
搞笑的,CVPR直接附上了用LLM作了一篇拒稿的小詩的離譜案例。(手動狗頭)
不過話雖如此,但網友在評論區中表示,雖然想法是好的,但並沒有任何具體、可靠的方式來貫徹執行;即使審稿人用了大模型,也沒辦法證明這件事。
CVPR 2025審稿新規七板斧
爲了應對投稿量的上漲,以及審稿質量的下降,CVPR 2025對會議規定做了七條修正,算是解決「大模型審稿」等問題的一個可行方案:
1、除非作者在CVPR 2025中擔任其他職務,否則所有作者都都有義務擔任審稿人,負責的審稿數量將根據作者資歷水平決定。
2、如果審稿人被區域主席標記爲「高度不負責任」,那其提交的論文也可能會被直接拒絕,要根據具體情況而定。
3、每位作者最多提交25篇論文,其中25篇的限制來源於CVPR 2024中單個投稿人最多的中稿數量。不過網友普遍表示,25篇還是太多了。
4、在任何階段,都不允許使用大模型撰寫審稿意見。
5、在最終論文決策公佈後,審稿人的姓名在OpenReview上也會對其他審稿人可見。
6、每位投稿人都需要填寫完整的OpenReview個人資料,以便更好地進行分配審稿人和利益衝突檢測,否則論文也會被直接拒絕。
7、CVPR 2025的審稿數據會共享給其他會議,對不負責的審稿人可以起到長久的限制作用。
其中第二條最具威懾性,不負責任的審稿意見包括,只有一兩句內容、使用大模型生成、與被審論文不相關,或者是遺漏了重要內容。
對於大模型,CVPR特意在審稿指南中列出要求:不能要求大模型撰寫審稿內容,只能根據自己對論文的判斷;不能向大模型共享論文或評審中的實質性內容,比如用大模型來翻譯評審意見;可以使用大模型進行背景調研或語法檢查,以確保審稿意見清晰。
不過具體執行時,這七條新規能否起到作用,還要等CVPR 2025論文錄用結果發佈後,再看各家網友對審稿結果的反應如何。
大模型審稿,堵不如疏
早在2023年1月,ICML就發佈了關於禁止使用大模型來撰寫論文的規定。
當時網友的普遍反應都是不理解,認爲使用大模型進行潤色是很正常的,MIT教授Erik Brynjolfsson甚至評價爲「一場必敗的仗」;LeCun當時還玩了一個文字遊戲,「中小型模型」可以用嗎?
如今看來,ICML確實敗了,CVPR 2025新規中,允許使用大模型潤色,但仍然不允許編寫實質性審稿內容。
凡是合乎理性的東西都是現實的,凡是現實的東西都是合乎理性的。
既然用大模型審稿有他存在的現實意義,那麼也一定有其合理性,科研大勢就是使用大模型參與到審稿、論文編寫過程中,已經有大量的相關研究來利用大模型輔助人類審稿,還提出相關評估基準等。
論文地址:https://arxiv.org/abs/2310.01783
比如斯坦福學者發現,GPT-4對於Nature、ICLR的論文給出的審稿意見,和人類審稿人已然有超過50%的相似性,未來讓大模型輔助論文評審,也並不是完全不靠譜。
再換個思路,難道人類審稿就一定靠譜了嗎?
既然無法一禁了之,更好的方法或許是引導審稿人合理利用大模型,比如官方提供大模型接口界面,標註出論文中的關鍵點,方便審稿人快速、直觀地理解論文內容;有了更方便的工具之後,尋求外部大模型工具進行優化的動力就會小很多。
另一方面,科研人員也可以對所有大模型參與審稿的過程進行標準化,評估不同模型在審稿過程中的可靠性。
靠強硬規定來禁止大模型並不具備可操作性,只能起到威懾作用,即便引入所謂的「大模型數字簽名」,甚至是用分類模型來判斷審稿意見是否由AI生成,只要提交者自己重新編輯一下審稿意見,是否使用大模型也就無從判斷了。
關於大模型審稿,你怎麼看?或者說,你希望自己的論文被大模型評審嗎?
參考資料:
https://x.com/CVPR/status/1865231116317212952
https://cvpr.thecvf.com/Conferences/2025/ReviewerGuidelines