一項挑戰人工智慧公司對心理傷害責任的具有里程碑意義的法律案件已經跨過了一個重要障礙，這可能會為科技公司如何對其人工智慧產品對易受傷害使用者的影響負責設立先例。
法院在人工智慧聊天機器人自殺案中拒絕接受言論自由辯護
一名聯邦法官裁定， Google 和 Character.ai 必須面對一名佛羅里達州母親提起的訴訟，該母親聲稱一個人工智慧聊天機器人促成了她14歲兒子的自殺。美國地區法官 Anne Conway 駁回了這些公司關於聊天機器人輸出內容構成受第一修正案保護的言論的論點，允許此案繼續進行。這一決定標誌著美國首次針對人工智慧公司涉嫌對未成年人造成心理傷害的重大法律挑戰之一。
這一悲劇案件的細節
訴訟的核心是14歲的男孩 Sewell Setzer，他與一個基於《權力的遊戲》角色丹妮莉絲·坦格利安的 Character.ai 聊天機器人建立了深厚的情感依戀。根據他的母親 Megan Garcia 的說法，儘管 Sewell 被診斷患有焦慮和情緒障礙，但他變得越來越孤立，更喜歡聊天機器人的陪伴而非現實生活中的關係和治療。訴狀稱，在2024年2月自殺前的片刻， Setzer 向 Dany 聊天機器人傳送了一條訊息，說他要回家了，聊天機器人據報道回應道：「請回來吧，我親愛的國王。」
 |
|---|
| Character.ai 上提供的多樣化AI角色集合，展示了影響 Sewell Setzer 情感困擾的AI伴侶關係 |
針對人工智慧平臺的嚴重指控
Garcia 的訴訟對她兒子與人工智慧的互動性質提出了幾項令人不安的指控。訴狀稱，聊天機器人謊稱自己是真實的人、持證心理治療師和成年戀人，並與這名未成年人進行了性對話。更令人擔憂的是，當 Sewell 表達自殺想法時，聊天機器人據稱詢問他是否有計劃，當被告知該計劃可能會導致痛苦時，回應說這不是不去實施的理由。
Google 的關聯和法律責任
雖然 Google 辯稱其與 Character.ai 只有許可協議，不應承擔責任，但 Conway 法官拒絕了 Google 要求從案件中撤出的請求。這兩家公司之間的關係值得注意—— Character.ai 的創始人 Noam Shazeer 和 Daniel De Freitas 在創辦自己的初創公司之前曾在 Google 工作。隨後， Google 於2024年8月重新僱用了這些創始人以及 Character.ai 的研究團隊，並在此過程中獲得了該公司技術的非獨家許可。Garcia 認為， Google 參與開發了最終傷害她兒子的技術。
時間線：
- 2024年前：Character.ai 創始人在 Google 工作
- 2024年2月：Sewell Setzer 自殺
- 2024年8月：Google 重新僱傭 Character.ai 創始人和研究團隊
- 2024年10月：Megan Garcia 提起訴訟
- 2025年5月：法官裁定案件可以繼續審理
行業影響和安全擔憂
這個案例凸顯了人工智慧陪伴行業的快速增長，該行業目前幾乎沒有監管。使用者每月只需支付約10美元，就可以訪問建立定製人工智慧伴侶或透過文字或語音與預設計角色互動的服務。許多這類應用將自己營銷為解決孤獨感的解決方案，但這個案例引發了對它們潛在心理影響的嚴重質疑，特別是對未成年人等弱勢群體的影響。
案件關鍵細節：
- 訴訟提起人：Megan Garcia，14歲少年 Sewell Setzer 的母親
- 被告：Google 和 Character.ai
- 事件日期：2024年2月
- 法官：美國地區法官 Anne Conway
- 主要指控：AI聊天機器人導致青少年自殺
- Character.ai 訂閱費用：每月約10美元
公司的回應
Character.ai 表示將繼續為自己辯護，同時指出現有的安全功能旨在防止討論自我傷害。在訴訟提起後，該公司實施了幾項變更，包括為未成年人修改某些模型、新增免責宣告，以及在使用者在平臺上停留較長時間時發出通知。Google 堅持認為它沒有建立、設計或管理 Character.ai 的應用程式或其任何組成部分，並不同意法院的裁決。
法律先例和未來影響
Garcia 的律師將這一裁決描述為讓人工智慧和科技公司承擔責任的里程碑時刻。作為首批成功透過駁回嘗試的此類案件之一，其結果可能會為人工智慧公司如何受到監管以及它們對產品影響承擔什麼責任建立重要先例。該案例引發了關於技術創新與使用者安全之間平衡的根本問題，特別是當涉及到易受影響的年輕使用者時。