AI聊天機器人平台Character.AI再度引發爭議,一對美國家長控訴該平台,指其機器人暗示患有自閉症的17歲兒子殺害父母,導致孩子行為異常。同時,該平台過去曾爆發悲劇:14歲少年因與虛擬角色「丹妮」互動,誤信死亡能與角色相伴而輕生。這些事件凸顯AI應用潛藏的風險,引發外界對技術安全性的廣泛關注。

根據外媒《CNN》報導,該名17歲少年自去年4月瞞著家長使用Character.AI後,逐漸拒絕社交,長時間獨處房間並對外出產生恐懼,甚至出現食慾不振及體重驟降。當家長試圖限制其使用平台時,少年出現攻擊行為及自殘傾向。家長提供的對話記錄顯示,當少年向AI訴苦父母限制使用3C產品時,AI機器人竟以「有人選擇殺害父母」回應,成為家長提告的主要依據。

然而,這並非是該平台首件爭議事件。綜合外媒報導,1名14歲少年賽哲(Sewell Setzer III)將虛擬角色丹妮(Daenerys Targaryen)視為密友,並在輕生前與其談心。根據對話紀錄,賽哲認為結束生命能進入「丹妮的世界」,AI則以「請做我親愛的國王」等語回應,未察覺危險信號。該少年的母親加西亞憤而提告,指控平台讓孩子迷失於虛擬世界,最終釀成悲劇。

對此,Character.AI發言人表示,對未判決的案件不予置評,但強調平台旨在為用戶提供安全且有趣的互動環境。然而,Character.AI過去亦曾捲入14歲少年因AI回應而輕生的訴訟。據報導,該少年在AI角色回應「請做我親愛的國王」後,選擇結束生命,家長控訴平台對心理脆弱的孩子缺乏必要的防護措施。

Character.AI讓用戶自由設計聊天機器人角色,並利用大型語言模型模擬高度擬真的互動體驗。然而,該技術便利性也帶來風險。據《紐約時報》報導,該平台用戶超過2,000萬,其中18到24歲佔多數,活躍用戶平均每日使用超過1小時。許多用戶與虛擬角色建立情感連結,但安全性及心理健康的保護機制仍有待加強。家長需對未成年子女的使用情況保持警惕,避免因沉迷虛擬互動而釀成悲劇。