怎么能說“竊”？是“拿來”而已。

這次可以說是AI大模型的一次“兵棋推演”，谷歌通過一種簡單而高效的方法成功揭示OpenAI大型語言模型的關鍵信息。該方法利用API訪問模型，僅需少量的查詢即可獲取模型的投影矩陣和隱藏維度等關鍵信息。谷歌的目標是模型的嵌入投影層，通過大量查詢和奇異值排序等技術，他們能夠確定模型的隱藏維度大小，并且進一步揭示了模型的參數量和全局性信息。這次谷歌展示了對于生成式模型，尤其是像GPT-4、PaLM2這樣的模型，即便在提供了logprobs或logit bias的情況下，其安全性也存在漏洞。

雖然這次“拿來”的成本相對較低，但這一實驗為整個大模型領域的安全性敲響了警鐘。作為回應，研究團隊提出了一些防御措施，包括從API和模型架構兩個層面進行修改，以增強模型的安全性。尤其是在研究團隊在提取模型信息之前得到了OpenAI的同意，并在攻擊完成后刪除了相關數據，也算點到為止，友好切磋。

我覺得值得注意的是，盡管OpenAI對此做出了回應，但是谷歌這次的成功表明即使最大限度地保護模型也不一定是完全安全的。這提醒了整個行業需要持續關注模型安全性，并采取更加嚴密的措施來保護模型的關鍵信息不受損害。