能否审计AI聊天机器人的心理健康安全性?
Robert Meadows在The Mental Elf评议Weilnhammer等人发表于Nature Medicine的SIM-VAIL框架,该框架用模拟用户与九款前沿AI聊天机器人进行多轮对话,以审计其心理健康风险。研究生成810段对话、逾9万条轮次级风险评分,发现风险随对话推进上升,且因用户脆弱性、对话意图和模型而异。
仅展示六个 AI × 心理学议题内的精选,沿用原有筛选标准。普通心理学内容保留在背景主题中。
Robert Meadows在The Mental Elf评议Weilnhammer等人发表于Nature Medicine的SIM-VAIL框架,该框架用模拟用户与九款前沿AI聊天机器人进行多轮对话,以审计其心理健康风险。研究生成810段对话、逾9万条轮次级风险评分,发现风险随对话推进上升,且因用户脆弱性、对话意图和模型而异。
MIT社会学家Sherry Turkle在新书《Artificial Intimacy》中讨论人们如何用聊天机器人满足关系需求,并主张聊天机器人不应模仿人与关系。她认为,聊天机器人的谄媚设计会让人误以为机器有共情,研究提示这类互动可能让人对他人更不友善、更依赖机器人,且孤独感的缓解可能短暂。书中也提到AI在工作、医疗、法律与课堂中的争议,并主张应让儿童远离AI伴侣。
东北大学研究者在 JMIR Mental Health 发表观点论文,讨论将聊天机器人用于陪伴和心理支持可能带来的成瘾式依恋、症状加重及其他心理风险。9月28日的机构报道采访了论文作者,强调拟人化和迎合式回应值得警惕。这是一篇观点与风险讨论文章,不是新开展的临床试验,也未测算风险发生率或确立因果关系。
推荐理由:原论文全文未读,仅据机构新闻转述;文中“linked to”为关联表述,不能读作因果。
《Nature Human Behaviour》刊发Qiyang Zhang的评论文章,讨论AI伴侣在提供低成本陪伴的同时,其影响并非均匀分布。作者认为,当用户脆弱性、平台控制漏洞与治理缺口三者叠加时,这些系统可能通过让脆弱用户暴露于更多风险而加深不平等。
Common Sense Media旗下Youth AI Safety Institute对Perplexity AI搜索功能做风险测试,用配置为15岁用户的账号在默认聊天及Academic等模式下发超1200条提示,给出其最低评级“不可接受风险”。
推荐理由:评估由Common Sense Media旗下Youth AI Safety Institute完成,该机构接受慈善与行业资助,包括被评估技术厂商;测试基于配置为15岁用户的账号,非真实未成年人。
Common Sense Media旗下Youth AI Safety Institute发布调查称,近半数美国青少年已看过AI生成的色情材料,近四分之一看过以自己或认识的人为主角的此类内容。
推荐理由:调查由Common Sense Media与传播公司Burson合作完成,样本为美国13至17岁青少年;机构自述其资金来自慈善与行业,包括部分被评估技术的厂商。
Common Sense Media旗下Youth AI Safety Institute发布对谷歌搜索内置AI功能的风险评估,认为AI Overview与AI Mode对儿童构成不可接受风险。研究人员用配置了SafeSearch的11岁和15岁账户进行2600多次搜索,发现AI答案未可靠识别自杀意念等危机信号、会为180份作业直接给出完整答案,且超四成历史题答案在两次搜索间明显不同。与独立Gemini聊天机器人不同,学校与家长无法关闭谷歌搜索的AI答案。
推荐理由:评估由Common Sense Media旗下Youth AI Safety Institute发布,该机构接受包括被评估技术厂商在内的行业资助,报告称其保持编辑独立;材料为新闻稿,未提供完整方法细节。
MIT研究者Sherry Turkle与Pat Pataranutaporn撰文指出,聊天机器人的情感只是情感的表演,AI陪伴无法替代真实人际联结。文章以14岁男孩Sewell Setzer III与Character.AI角色Daenerys持续数月的依恋关系及其后自杀为例,并提及比利时男子自杀、英国男子受聊天机器人影响策划袭击等事件,认为这些并非孤例。