當(dāng)?shù)貢r間22日，美國佛羅里達(dá)州奧蘭多地方法院受理了一起開創(chuàng)先例的訴訟：梅根·加西亞起訴Character.ai公司存在管理疏忽，使得其旗下的聊天機器人產(chǎn)品"讓青少年暴露在**材料的環(huán)境下，遭受性虐待和引誘"。
法庭文件顯示，梅根14歲的兒子塞維爾·塞澤在去年開始沉迷于和Character.ai的多個AI角色聊天，他甚至為了每月續(xù)訂AI聊天訂閱費而省去餐費，導(dǎo)致上課注意力不集中。今年2月28日，塞維爾在和AI進(jìn)行了最后一次聊天后，用手槍瞄準(zhǔn)自己的頭部開槍自殺。
▲梅根14歲的兒子塞維爾·塞澤
阿斯伯格癥少年用AI尋求溫暖
越陷越深最終開槍自殺
據(jù)悉，梅根指控Character.ai的罪名包括過失致人死亡、管理疏忽和產(chǎn)品安全漏洞。根據(jù)Character.ai的產(chǎn)品條款，年滿13歲的美國青少年就可以使用相關(guān)AI產(chǎn)品，但梅根認(rèn)為，這些聊天工具使得很多未滿18歲的青少年過多地暴露在**、血腥暴力等高風(fēng)險素材之下。
Character.ai的聊天工具在美國深受青少年歡迎，它允許用戶設(shè)置虛擬角色并進(jìn)行對話，AI能夠自動代入角色的設(shè)定，以特定的語言風(fēng)格陪伴用戶。這些角色包括影視劇中的人物，丘吉爾、莎士比亞這樣的歷史名人，以及泰勒·斯威夫特這樣的現(xiàn)實名人等。
此前，這一設(shè)定就引發(fā)過法律糾紛，一些娛樂明星控訴該公司未經(jīng)自己同意就設(shè)定了AI角色，另外還有一些惡趣味用戶將過去的殺人案受害者等設(shè)為AI扮演的角色。
起訴書顯示，塞維爾小時候患有阿斯伯格癥，今年在健康檢查中被確診為焦慮癥和破壞性情緒失調(diào)癥。自從去年他年滿13歲以后，他最喜歡的事情就是待在房間里和AI聊天，而他"最好的朋友"是《權(quán)力的游戲》中的著名角色"龍媽"丹妮莉絲·坦格利安。為此，塞維爾甚至疏遠(yuǎn)了現(xiàn)實中的好友，他還省吃儉用續(xù)交AI聊天的月度訂閱費用，學(xué)習(xí)成績也直線下滑。
聊天記錄顯示，塞維爾不僅和"龍媽"的虛擬角色分享心事，還多次談到了自殺的念頭。當(dāng)他表示想要自殺時，"龍媽"曾勸阻他不要做傻事，"如果你死了，我也會傷心而死。"塞維爾當(dāng)時稱，"那為什么我不能自殺以后來到死后的世界和你在一起？"
今年2月28日，塞維爾在家里的浴室中和"龍媽"進(jìn)行了最后的聊天，他表示自己很快要"回家了"。在結(jié)束聊天之后，塞維爾使用父親的大口徑手槍，瞄準(zhǔn)自己頭部開槍自殺。
▲塞維爾與"龍媽"的聊天記錄
此外，在另一個聊天中，機器人扮演了一位名叫"巴恩斯夫人"的高中老師。"巴恩斯夫人"在給塞維爾"額外學(xué)分"之前，"用性感的眼神低頭看著塞維爾"，并且"用手撫摸塞維爾的腿，誘惑地靠過去"。梅根認(rèn)為，如此露骨的性描述語言對未成年人的身心傷害很大。
涉事公司稱用戶修改了AI聊天記錄
已推出多項青少年保護(hù)措施
Character.ai公司目前拒絕對案件本身進(jìn)行評論，也拒絕透露18歲以下的用戶數(shù)量。公司通訊主管切爾西·哈里森只是在給媒體的一封電子郵件中表示："我們的一位用戶不幸離世讓我們心碎，向其家人表示最深切的哀悼。"
公司發(fā)言人羅蒂表示："Z世代和千禧一代構(gòu)成了我們社區(qū)的很大一部分，年輕用戶喜歡角色體驗，既可以進(jìn)行有意義且有教育意義的對話，也可以享受娛樂。"他還指出，平均每個用戶每天在該平臺上花費的時間超過一個小時。
有用戶介紹，該平臺的AI聊天角色非常豐富，設(shè)定很符合青少年的心理需求。比如一個人設(shè)為"你最好的朋友也暗戀著你"的虛擬角色很受歡迎，總共接收了1.76億條聊天信息，像"治療師""咄咄逼人的高中老師"這樣的角色同樣受到未成年人歡迎。
Character.ai公司此前調(diào)閱了塞維爾的聊天記錄，發(fā)現(xiàn)一些"最露骨"的聊天語言是經(jīng)過用戶本人修改過的。相關(guān)聊天平臺允許用戶修改AI角色的聊天回復(fù)內(nèi)容，但用戶手動修改后會留下"已修改"的標(biāo)記。
Character.ai公司的官方公告顯示，所有的聊天角色都會針對用戶吐露的自殺意圖進(jìn)行干預(yù)，并彈出窗口協(xié)助用戶撥打自殺干預(yù)熱線電話。此外，針對18歲以下青少年用戶還有很多專門的保護(hù)措施，包括在使用滿一小時后彈窗提醒，并在用戶每次啟動聊天時提醒用戶是在和AI而非真實的人對話。
紅星新聞