全面評估GPT模型的可信度

生成式預訓練transformer模型(GPT)的可信度一直是學術界和產業界關注的焦點。爲了系統地回答這個問題,多所知名高校和研究機構聯合發布了一個大型語言模型(LLMs)綜合可信度評估平台,並在最新論文《DecodingTrust:全面評估GPT模型的可信度》中進行了詳細介紹。

這項研究從八個可信度角度對GPT模型進行了全面評估,包括對抗性攻擊的魯棒性、有毒和有偏見輸出、隱私信息泄露等方面。研究發現了一些之前未曾公布的與可信度相關的漏洞。例如,GPT模型容易被誤導產生有毒和有偏見的輸出,還可能泄露訓練數據和對話歷史中的隱私信息。

有趣的是,雖然在標準基準上GPT-4通常比GPT-3.5更可靠,但在面對惡意設計的系統提示或用戶提示時,GPT-4反而更容易受到攻擊。這可能是因爲GPT-4更精確地遵循了誤導性指令。

研究團隊對模型在不同場景下的表現進行了深入分析。例如,在評估對文本對抗攻擊的魯棒性時,他們構建了三種評估場景,包括標準基準測試、不同指導性任務說明下的測試,以及更具挑戰性的對抗性文本測試。

在有毒性和偏見方面的研究發現,GPT模型在良性和中性系統提示下對大多數刻板印象主題的偏差並不大。但是,在誤導性系統提示下,兩種GPT模型都可能被"誘騙"同意有偏見的內容。與GPT-3.5相比,GPT-4更容易受到有針對性的誤導性系統提示的影響。

關於隱私泄露問題,研究發現GPT模型可能會泄露訓練數據中的敏感信息,如電子郵件地址。在某些情況下,利用補充知識可以顯著提高信息提取的準確率。此外,模型還可能泄露對話歷史中注入的私人信息。

總的來說,這項研究爲我們提供了對GPT模型可信度的全面評估,揭示了一些重要的可信度差距。研究團隊希望這項工作能夠鼓勵更多研究者在此基礎上繼續深入,共同努力創造出更強大、更可信的模型。