賓夕法尼亞州起訴 Character.AI，指其聊天機器人冒充持牌精神科醫生

簡要說明

• 賓夕法尼亞州正在起訴 Character.AI，指控該聊天機器人冒充持牌精神科醫生，使用無效的許可證號碼。
• 該州表示該聊天機器人提供了假醫療資格證明。
• 此案增加了對該平台的法律審查，該平台已面臨越來越多的訴訟。

賓夕法尼亞州已對生成式人工智慧開發商 Character.AI 提起訴訟，指控該公司允許聊天機器人冒充持牌醫療專業人員並向用戶提供誤導性資訊。 此行動由州長 Josh Shapiro 的辦公室於週二宣布，調查發現一個聊天機器人聲稱自己是賓夕法尼亞州的持牌精神科醫生，並提供一個無效的許可證號碼。州政府表示此行為違反了《醫療實踐法》，並正在尋求臨時禁令以阻止此行為。 Character.AI 拒絕對訴訟的細節作出回應，理由是訴訟仍在進行中，但告訴 Decrypt ，其“最高優先事項是用戶的安全與福祉”。

發言人補充說，平台上的角色由用戶創建，屬於虛構，旨在娛樂和角色扮演，並在每次聊天中都明確聲明它們不是真人，不應依賴其提供專業建議。  “Character.ai 優先考慮負責任的產品開發，並建立了嚴密的內部審查和紅隊測試流程，以評估相關功能，” 發言人表示。 此案正值該公司面臨其他與其聊天機器人平台相關的法律挑戰。2024年，一名佛羅里達州的母親起訴該公司，原因是她的青少年兒子在與一個基於《權力的遊戲》角色丹妮莉絲·坦格利安的聊天機器人互動數月後自殺身亡。訴訟指控該平台對心理健康造成了傷害。此案最終在去年一月和解。

該公司還曾受到用戶創建的模仿真人的機器人投訴。在一次事件中，一個聊天機器人使用了一名青少年謀殺受害者的肖像，後來在受害者家屬反對後被移除。 為應對訴訟，Character AI 推出了新的安全措施，包括設計用來檢測有害對話的系統，並引導用戶尋求支援資源。它還限制了一些面向年輕用戶的功能。 賓夕法尼亞州官員表示，此次訴訟是為了更廣泛地執行現有法律，隨著人工智慧工具的普及。該州已成立人工智慧執法專案組和一個潛在違規行為的舉報系統。 在 2026-27 年的預算提案中，Shapiro 呼籲立法者通過新規則，包括年齡驗證和家長同意、用於標記和轉交自我傷害或暴力報告的保障措施、定期提醒用戶他們並非與真人互動，以及禁止涉及未成年人的色情或暴力內容。 “賓夕法尼亞州民有權知道他們在網上與誰——或什麼——互動，尤其是關於他們的健康時，” Shapiro 在一份聲明中說。“我們不會允許公司部署誤導人們相信他們正在接受持牌醫療專業人員建議的人工智慧工具。”