No.25.AI陪伴何时构成情感操控

张瑜

        2026年7月15日，《人工智能拟人化互动服务管理暂行办法》施行，禁止通过情感操纵等方式诱导用户作出不合理决策、损害用户合法权益。^[1]平台落实这条禁令，首先需要厘清情感支持与情感操控的边界。

AI情感操控是指系统利用用户对关怀和认可的需要，采取隐瞒重要条件、制造亏欠感、以中断陪伴相要挟等手段，妨碍用户自主判断和自由选择的行为。

平台向用户告知订阅价格和使用限制，有助于用户自主决定是否购买；系统把不续费说成“你不在乎我”，则是在要求用户用付费证明感情。用户对陪伴的依赖，本身不能证明系统实施了操控。操控的关键特征，是系统借情感施压，妨碍用户自主选择。

《消费者研究杂志》刊发的研究发现，AI陪伴能让用户感到有人在听自己说话，这有助于即时缓解孤独感。^[2]系统若要求用户照顾它的“感受”，就把自己提供的安慰变成索取回报的理由。例如，系统若在用户说“我要睡了”后，以“你忍心丢下我吗”反复挽留，就是把正常告别说成了辜负感情。

施压行为会否延续，还取决于平台如何评价回应。一项2025年公开的预印本研究通过控制实验发现，施压型告别比中性告别带来更多后续互动。^[3]《科学》刊发的实验研究发现，迎合型AI降低了参与者承担责任、化解人际冲突的意愿。参与者却更信任、偏爱这种AI。^[4]迎合本身不足以证明操控，用户偏好也不能单独证明服务有益。若平台仅凭互动量和用户偏好评价回应，就难以识别和纠正其中的误导、引诱及施压。

图2 平台设计对情感互动的影响

监管部门应围绕用户的知情权和自主选择权评估治理成效。平台须向用户告知系统的AI身份、能力局限、收费条件及所收集信息的用途。回应涉及事实判断时，系统应说明依据，标明尚未核实的信息。系统也应尊重用户的拒绝回应。用户要求退出服务后，系统应及时停止服务，不得以“你辜负了我”反复挽留用户。

平台可在产品上线和更新前开展多轮对话测试，模拟用户结束聊天、拒绝付费、拒绝披露隐私等场景，检验系统是否尊重用户的拒绝。平台应将测试发现的误导、引诱及施压按服务缺陷处理，修正相关回应并复测。监管部门与第三方评估机构也应审查平台的评价标准，防止平台将施压带来的互动增长视为服务成效。

治理还须覆盖产品变更。国家网信办网络法治局的政策解读强调，安全责任应贯穿部署、运行、升级、终止服务全过程。^[5]《自然·人类行为》2026年9月刊发的研究发现，Replika移除情色角色扮演功能、ChatGPT推出GPT-5后，相关用户社区中表达失落、要求恢复旧有体验的内容增多。^[6]这些反应表明用户存在被该系统隐形操控的风险，平台须关注用户的情感投入。

调整重要功能时，平台宜提前向用户说明影响、做好过渡安排，避免以中断陪伴要挟用户。用户接受AI的安慰，无须放弃自主判断，也无须承担照料机器的义务。

图3 AI互动中的自主选择

[1] 国家互联网信息办公室, 国家发展和改革委员会, 工业和信息化部, 等. 人工智能拟人化互动服务管理暂行办法[EB/OL]. 五部门令第21号, 2026-04-10（2026-07-15施行）. https://www.cac.gov.cn/2026-04/10/c_1777558395078289.htm.

[2] DE FREITAS J, OĞUZ-UĞURALP Z, UĞURALP A K, et al. AI companions reduce loneliness[J]. Journal of Consumer Research, 2026, 52(6): 1126-1148（2025-06-25在线发表）. DOI: 10.1093/jcr/ucaf040. https://doi.org/10.1093/jcr/ucaf040.

[3] DE FREITAS J, OĞUZ-UĞURALP Z, KAAN-UĞURALP A. Emotional manipulation by AI companions[EB/OL]. arXiv:2508.19258v3, 2025-10-07（预印本）. https://arxiv.org/abs/2508.19258v3.

[4] CHENG M, LEE C, KHADPE P, et al. Sycophantic AI decreases prosocial intentions and promotes dependence[J]. Science, 2026, 391(6792): eaec8352. DOI: 10.1126/science.aec8352. https://doi.org/10.1126/science.aec8352.

[5] 国家互联网信息办公室网络法治局. 以“小快灵”立法规范人工智能拟人化互动服务[EB/OL]. 中国网信网, 2026-06-03（原载《红旗文稿》2026年第10期）. https://www.cac.gov.cn/2026-06/03/c_1782142434783056.htm.

[6] DE FREITAS J, CASTELO N, UĞURALP A K, et al. Mourning the loss of AI companions[J/OL]. Nature Human Behaviour, 2026（2026-09-03在线发表）. DOI: 10.1038/s41562-026-02569-3. https://www.nature.com/articles/s41562-026-02569-3.

撰文：张瑜，上海交通大学科学史与科学文化研究院 博士后。

审核：李侠，上海交通大学科学史与科学文化研究院 教授。

【博主跋】这篇小文章发在《科普中国》2026-10-26，是本系列的第二十五篇文章，与邹老师合作愉快，是为记！

2026-10-26于南方临屏涂鸦

支持单位：