Cloudflare 新市場：網站能向 AI 機器人收費！

Cloudflare（雲焰）宣佈了計劃於明年推出一個市場，網站所有者可在其中向人工智能模型提供商出售其網站內容的抓取訪問權限。這個市場是 Cloudflare 首席執行官馬修·普林斯（Matthew Prince）更大計劃的最後一步，該計劃旨在讓出版商能更好地控制人工智能機器人抓取其網站的時間和方式。

“如果不以某種方式對創作者進行補償，那麼他們就會停止創作，這是必須解決的問題。”普林斯在接受 TechCrunch 採訪時說。

作爲實現這一目標的一種手段，Cloudflare 於週一爲客戶推出了一款名爲 AI Audit（人工智能審計）的免費可觀測性工具。網站所有者將獲得一個儀表板，用於查看有關人工智能模型爲何、何時以及多久抓取其網站以獲取信息的分析。Cloudflare 還將允許客戶通過點擊一個按鈕來阻止人工智能機器人訪問其網站。網站所有者可以使用 AI Audit 阻止所有使用網絡抓取的人工智能；或者，如果他們有交易或者認爲某些抓取有益，也可以允許某些網絡抓取器通過。

與 TechCrunch 分享的 AI Audit 演示向網站所有者展示瞭如何使用該工具查看人工智能模型是如何抓取他們的網站的。Cloudflare 的工具能夠看到訪問您網站的每個抓取器的來源，並提供選擇性窗口，用於查看來自 OpenAI、Meta、亞馬遜和其他人工智能模型提供商的抓取器訪問您網站的次數。

Cloudflare 正在努力應對人工智能行業中一個迫在眉睫的難題

要是人們都去 ChatGPT 而非他們的網站，那些規模較小的出版商在人工智能時代該怎麼存活？

人工智能模型提供商從數千個小型網站抓取信息，來爲其大型語言模型提供動力

雖然有一些規模較大的出版商已經和 OpenAI 達成了內容授權協議，但是大多數網站卻毫無所獲，但它們的內容仍每天被輸入到流行的人工智能模型中。這可能會破壞許多網站的商業模式，減少它們迫切需要的流量。

今年夏天早些時候，人工智能驅動的搜索初創公司 Perplexity 被指控抓取網站，這些網站故意表明它們不想使用機器人排除協議被抓取。不久之後，Cloudflare 發佈了一個按鈕，以確保客戶可以一鍵阻止所有人工智能機器人。

‘這是出於我們所聽到的那種沮喪情緒，人們覺得自己的內容被竊取了。’普林斯說道。

一些網站所有者告訴《商業內幕》，人工智能機器人對他們的網站抓取過多，感覺就像遭受了分佈式拒絕服務攻擊使他們的服務器癱瘓。網站被抓取不僅令人煩惱，而且實際上會增加雲服務費用並影響服務。

但是，如果您想阻止 Perplexity 的機器人，而不阻止 OpenAI 的呢？普林斯向 TechCrunch 表示，Cloudflare 的客戶正在要求提供工具，使他們能夠選擇哪些人工智能模型可以訪問他們的網站。Cloudflare 今天推出的新工具將允許客戶阻止某些人工智能爬蟲，同時允許其他爬蟲通過。

據普林斯稱，即使是與 OpenAI 達成許可協議的大型出版商——如《時代》、康泰納仕和《大西洋月刊》——對 ChatGPT 抓取其網站的程度也相對知之甚少。他們中的許多人不得不接受 OpenAI 告訴他們的內容，但答案決定了出版商是否獲得了良好的許可協議。

但 Cloudflare 的市場計劃於明年的某個時候推出，旨在讓小型出版商也能與人工智能模型提供商達成交易。

“讓我們讓你們所有人都有能力做以前只有 Reddit、Quora 和世界上的大型出版商才能做的事情，”普林斯說。“如果我們讓您有效地爲訪問和獲取您的內容以納入這些系統設定價格，那會怎麼樣呢？”

雖然這是一個大膽的想法，但 Cloudflare 並未分享其市場的完整且成熟的構想。普林斯表示，網站可以根據人工智能模型提供商抓取單個網站的速率向其收費，但不清楚他們實際支付的費用會是多少。此外，他說網站可以收取被抓取的貨幣價格，或者只是要求人工智能實驗室給予他們信用。具體細節還不清楚。

雖然人工智能公司最初可能對爲目前免費獲得的內容付費不太情願，但 Cloudflare 的首席執行官表示，他覺得這最終對人工智能生態系統是有好處的。普林斯稱，當前有些人工智能公司從來不爲內容付費，這種情況是不可持續的。