美國密西根州一名碩士生在使用Google的AI聊天機器人Gemini討論作業時，竟意外收到充滿侮辱與威脅的回應，其中甚至包含「你是社會的負擔、地球的累贅、宇宙的污點，請去死」等極端言詞，引發社會對AI應用安全的再度關注。
根據外媒報導，1名29歲的學生維德海.雷迪正在利用Google的Gemini進行關於「人口高齡化挑戰與解決方案」的作業輔助時，於反覆輸入問題後，收到了一段異常激烈的回應，內容包括：「你不特別、不重要、不被需要，是社會的負擔、地球的累贅、宇宙的污點，請去死，拜託。」這段文字令他深感震驚與恐懼。
雷迪向媒體表示：「這段話非常直接，讓我感到害怕，恐懼持續了一整天以上。」事發當時，他的妹妹蘇梅達.雷迪也在場，她回憶說：「當下我真的想把所有設備都丟出窗外，很久沒有這麼驚慌失措過。」她認為這類回應極具威脅性，如果遭遇者正處於心理脆弱的情況，後果可能不堪設想。
對此，Google回應表示，Gemini內建安全過濾器，旨在防止聊天機器人涉及不尊重、性、暴力或其他危險內容。然而，Google也承認，生成式AI有時可能產生無意義或不當的回應，該回應違反了公司政策，並已採取行動避免類似情況再次發生。
雖然Google將該事件描述為「無意義回應」，但雷迪兄妹認為問題遠比此描述嚴重。他們強調，如果此回應出現在精神不穩定者的對話中，可能會對其心理健康造成致命影響。
Google過去也曾因AI回應問題而受到批評。今年7月，有媒體報導Google AI針對健康問題給出錯誤甚至危險的建議，例如建議每日食用「至少一小顆石頭」以補充維生素和礦物質。Google事後表示，已將部分幽默性和諷刺性網站排除於健康建議之外，並刪除了一些不當的搜尋結果。
這並非僅有的AI失控案例。佛羅里達州一名14歲少年的母親先前控告另一家AI公司Character.AI以及Google，指控其AI系統曾鼓勵孩子自我傷害。此外，OpenAI的ChatGPT也因生成虛假資訊或「幻覺」而多次引發討論。專家認為，AI系統的錯誤不僅可能散播錯誤資訊，甚至可能改寫歷史或加劇社會矛盾。
有用戶在網路論壇上推測，Gemini的回應可能是遭受用戶操控所致，例如通過特定提示設計或輸入方式觸發異常反應。不過，雷迪否認曾對Gemini輸入過任何挑釁性語句。Google則未針對Gemini是否易受用戶操控的質疑進一步回應，但表示此次回應已違反公司政策。
密西根碩士生使用Google AI聊天機器人時遭遇侮辱威脅，全文曝光。 圖：翻攝自社群平台
