這款名為 SynthID 的工具，是生成式 AI 輸出水印工具家族的一部分。去年，公司推出了用于圖像的水印，隨后又推出了用于 AI 生成視頻的水印。今年 5 月，Google 宣布在其 Gemini 應用和在線聊天機器人中使用 SynthID，并在 Hugging Face 這一開放的 AI 數據集和模型庫中免費提供。水印已成為幫助人們識別 AI 生成內容的重要工具，這有助于防范如虛假信息等潛在危害。

“現在，其他生成式 AI 開發者可以使用這一技術，幫助他們檢測文本輸出是否來自自己的大語言模型，這將使許多開發者能夠更負責任地構建 AI。”Google DeepMind 研究副總裁 Pushmeet Kohli 說。

SynthID 通過在 AI 模型生成文本時，直接在文本中加入一個不可見的水印。

大型語言模型通過將語言分解為“token”，然后預測哪個 token 最有可能接在前一個 token 之后來運作。一個 token 可以是單個字符、單詞或短語的一部分，每個 token 都會得到一個百分比分數，表示其成為句子中下一個詞的可能性。百分比越高，模型使用該 token 的可能性就越大。

“SynthID 通過在生成的那一刻引入額外的信息來改變 token 生成的概率?！盞ohli 解釋道。

要檢測水印并確定文本是否由 AI 工具生成，SynthID 通過比較帶水印和不帶水印文本中單詞的預期概率分數來實現。

Google DeepMind 發現，使用 SynthID 水印并未影響生成文本的質量、準確性、創造力或生成速度。這一結論來自 SynthID 在 Gemini 產品中的大規模實地測試，數百萬人使用了帶有水印的文本。Gemini 允許用戶對 AI 模型的回復進行評分，選擇“贊”或“踩”。

Kohli 和他的團隊分析了約 2000 萬條帶水印和不帶水印的聊天機器人回復的評分。他們發現，用戶并未察覺兩者在質量和實用性上有何差別。此次實驗的結果詳見今天發表在?Nature?上的論文。目前，SynthID 僅適用于 Google 的模型生成的內容，但開源這一工具的目的是希望擴大其兼容工具的范圍。

然而，SynthID 也存在一些局限性。水印在應對文本裁剪、輕度編輯或重寫時具有一定的抗干擾能力，但當 AI 生成的文本被重寫或翻譯成另一種語言時，效果不如預期。在回答諸如“法國的首都是哪里”這種事實性問題時，水印的可靠性也較低。原因在于，在不改變事實的前提下，調整句子中下一個可能單詞的概率空間更為有限。

“在生成式 AI 文本中實現可靠且不可察覺的水印是極具挑戰性的，尤其是在輸出結果接近確定性的場景中，例如事實性問題或代碼生成任務。”馬里蘭大學副教授 Soheil Feizi 說，他曾研究過 AI 水印的脆弱性。

Feizi 表示，Google DeepMind 決定開源其水印方法，是對 AI 社區的一個積極信號。“這讓社區可以測試這些檢測器，并在不同的環境中評估其魯棒性，從而更好地理解這些技術的局限性。”他補充道。

Hugging Face 的機器學習工程師 Jo?o Gante 指出，開源工具還有另一個好處，開源意味著任何人都可以使用代碼，并無附加限制地將水印整合到他們的模型中。這將提升水印的隱私性，因為只有擁有者知道其加密秘密。

“隨著可訪問性的提升和功能的驗證，我希望水印技術能成為標準，這有助于我們檢測語言模型的惡意使用。”Gante 說道。

但水印并非萬能的解決方案，Hugging Face 全球政策負責人 Irene Solaiman 指出。

“水印是保障模型安全的一部分，但整個生態系統還需要許多互補的安全措施。類似地，即便是人工生成的內容，事實核查的效果也因情境而異?！彼硎尽?/p>

原文鏈接：

https://www.technologyreview.com/2024/10/23/1106105/google-deepmind-is-making-its-ai-text-watermark-open-source/