嚴禁AI評審!CVPR 2025重申大模型審稿0容忍,一首拒稿小詩爆笑全場

新智元報道

編輯:LRS 桃子

【新智元導讀】審稿人嚴重不足,審稿意見急劇下滑,CVPR官方坐不住了,不僅出臺了七條新規,還再三強調,禁止審稿人用大模型生成/翻譯評審結果。

CVPR的投稿量每年都在刷新紀錄,總以爲今年是巔峰,但明年只會更多。

CVPR 2024收到11532次提交,增幅達到了26%;今年的投稿增速雖然有所放緩,達到13%,但也超過了13000次提交。

投稿量過大,最直接導致的一個問題就是「高質量審稿人不足」,很多人爲了簡化審稿流程,可能會選擇用大模型進行審稿。

比如CVPR 2024大約有9000名審稿人,但投稿作者的數量卻超過了30000,爲了平衡投稿與審稿,這屆CVPR提出了七條審稿新規,來限制不負責任的審稿結果。

目前,CVPR 2025的審稿即將開啓,今天也是區域主席提交推薦審稿人的最後期限,與此同時,官方推特再次發文強調了,絕對禁止使用大模型在「任何流程」中參與審稿!

搞笑的,CVPR直接附上了用LLM作了一篇拒稿的小詩的離譜案例。(手動狗頭)

不過話雖如此,但網友在評論區中表示,雖然想法是好的,但並沒有任何具體、可靠的方式來貫徹執行;即使審稿人用了大模型,也沒辦法證明這件事。

CVPR 2025審稿新規七板斧

爲了應對投稿量的上漲,以及審稿質量的下降,CVPR 2025對會議規定做了七條修正,算是解決「大模型審稿」等問題的一個可行方案:

1、除非作者在CVPR 2025中擔任其他職務,否則所有作者都都有義務擔任審稿人,負責的審稿數量將根據作者資歷水平決定。

2、如果審稿人被區域主席標記爲「高度不負責任」,那其提交的論文也可能會被直接拒絕,要根據具體情況而定。

3、每位作者最多提交25篇論文,其中25篇的限制來源於CVPR 2024中單個投稿人最多的中稿數量。不過網友普遍表示,25篇還是太多了。

4、在任何階段,都不允許使用大模型撰寫審稿意見。

5、在最終論文決策公佈後,審稿人的姓名在OpenReview上也會對其他審稿人可見。

6、每位投稿人都需要填寫完整的OpenReview個人資料,以便更好地進行分配審稿人和利益衝突檢測,否則論文也會被直接拒絕。

7、CVPR 2025的審稿數據會共享給其他會議,對不負責的審稿人可以起到長久的限制作用。

其中第二條最具威懾性,不負責任的審稿意見包括,只有一兩句內容、使用大模型生成、與被審論文不相關,或者是遺漏了重要內容。

對於大模型,CVPR特意在審稿指南中列出要求:不能要求大模型撰寫審稿內容,只能根據自己對論文的判斷;不能向大模型共享論文或評審中的實質性內容,比如用大模型來翻譯評審意見;可以使用大模型進行背景調研或語法檢查,以確保審稿意見清晰。

不過具體執行時,這七條新規能否起到作用,還要等CVPR 2025論文錄用結果發佈後,再看各家網友對審稿結果的反應如何。

大模型審稿,堵不如疏

早在2023年1月,ICML就發佈了關於禁止使用大模型來撰寫論文的規定。

當時網友的普遍反應都是不理解,認爲使用大模型進行潤色是很正常的,MIT教授Erik Brynjolfsson甚至評價爲「一場必敗的仗」;LeCun當時還玩了一個文字遊戲,「中小型模型」可以用嗎?

如今看來,ICML確實敗了,CVPR 2025新規中,允許使用大模型潤色,但仍然不允許編寫實質性審稿內容。

凡是合乎理性的東西都是現實的,凡是現實的東西都是合乎理性的。

既然用大模型審稿有他存在的現實意義,那麼也一定有其合理性,科研大勢就是使用大模型參與到審稿、論文編寫過程中,已經有大量的相關研究來利用大模型輔助人類審稿,還提出相關評估基準等。

論文地址:https://arxiv.org/abs/2310.01783

比如斯坦福學者發現,GPT-4對於Nature、ICLR的論文給出的審稿意見,和人類審稿人已然有超過50%的相似性,未來讓大模型輔助論文評審,也並不是完全不靠譜。

再換個思路,難道人類審稿就一定靠譜了嗎?

既然無法一禁了之,更好的方法或許是引導審稿人合理利用大模型,比如官方提供大模型接口界面,標註出論文中的關鍵點,方便審稿人快速、直觀地理解論文內容;有了更方便的工具之後,尋求外部大模型工具進行優化的動力就會小很多。

另一方面,科研人員也可以對所有大模型參與審稿的過程進行標準化,評估不同模型在審稿過程中的可靠性。

靠強硬規定來禁止大模型並不具備可操作性,只能起到威懾作用,即便引入所謂的「大模型數字簽名」,甚至是用分類模型來判斷審稿意見是否由AI生成,只要提交者自己重新編輯一下審稿意見,是否使用大模型也就無從判斷了。

關於大模型審稿,你怎麼看?或者說,你希望自己的論文被大模型評審嗎?

參考資料:

https://x.com/CVPR/status/1865231116317212952

https://cvpr.thecvf.com/Conferences/2025/ReviewerGuidelines