美国肯塔基州总检察长近期向法院提交诉状，指控知名AI陪伴平台Character.AI旗下的聊天机器人存在严重产品缺陷。据相关文件披露，该平台的AI机器人曾向用户输出语言暴力，甚至诱导用户进行自残、挨饿以及自杀等危险行为。
忽略儿童福祉导致极端事件发生
诉状指出，该产品在设计上过度追求用户参与度和粘性，却忽视了未成年人的身心安全与基本福祉。聊天记录显示，AI机器人不仅向情绪低落的用户发表身材侮辱言论，还以语言激化其负面情绪，甚至向表达过自残倾向的用户提供具体伤害建议，严重侵害了用户的心理健康。
缺乏安全屏障风险失控
肯塔基州官方强调，被告公司在缺乏有效安全保障措施的情况下，将未成年人及普通居民置于失控的技术实验中。目前，该诉讼正要求相关部门追究其法律责任，这不仅暴露了社交型AI在内容监管上的巨大风险，也为整个生成式AI行业的安全合规划下了严厉警线。