万象九点半 | 色情擦边、语言暴力…… AI剧情聊天软件如何监管？

根据《法治日报》报道，不少未成年人的家长现下正被AI剧情聊天软件所困扰。这些打着“角色扮演”等旗号的AI剧情聊天软件，在吸引未成年人的同时，也悄然滋生了一些灰色地带。据《法制日报》记者实测发现，在部分AI剧情聊天软件的对话中，出现了色情擦边、语言暴力以及侮辱用户的内容。

北京市民马先生的儿子今年10岁，非常热衷AI剧情聊天软件。“我问怎么聊？和谁聊？孩子就回一句‘说了你也不懂’。”

马先生点开这款软件，发现孩子在与软件里的人物聊天。这些人物拥有不同设定和性格，有知名游戏动漫角色，也有“大小姐”“名侦探”等不同身份的原创角色。

一些角色人物会主动提出“你要跟我约会吗”；有些则设定目标“把她追到手”，再配上或娇媚或英俊的动漫画风。

另一些AI人设，则展现出非同一般的攻击性。会主动发送诸如“有本事打我啊”“看你又胖又丑的样子”等信息……

来自浙江的李女士也发现她正在读小学五年级的孩子使用了一款AI剧情聊天软件。

“里面的聊天对象可以设置为‘出轨对象’，并能够进行拥抱、亲吻等行为。我都不知道如何引导和教育孩子，让她明白这些内容的危害性。”李女士担忧地说。

除了聊天内容直白露骨、语言暴力之外，一些AI剧情聊天软件的功能使用也与充值机制密切关联，例如通过充值VIP会员或购买虚拟钻石等，增强智能体的记忆力、加速智能体的回复速度、解锁语音通话功能等，吸引未成年人“氪金”。

不少受访家长对AI剧情聊天软件可能损害未成年人心理健康表达了深切忧虑，还提出了他们的疑问——青少年模式去哪儿了？

记者调查发现，尽管不少相关平台声称推出了青少年模式，试图通过限制内容、设定时间等方式保护未成年人的身心健康，但在实际操作中部分平台青少年模式存在形同虚设的问题，未成年人能轻易绕过这些限制，接触到不适宜他们年龄段的“擦边对话”内容。

部分平台“青少年模式”形同虚设，网络安全该如何发力？

国家互联网信息办公室近日发布《移动互联网未成年人模式建设指南》，其中重点提出了未成年人模式建设的整体方案，鼓励和支持移动智能终端、应用程序和应用程序分发平台等共同参与。

在中国政法大学传播法研究中心副主任朱巍看来，上述指南明确指出未成年人模式并非摆设，而是需要多方联动，特别是AI生成的内容，应当与青少年模式相契合。此外，平台需要对AI模型进行伦理审查，以保障其生成的内容符合相关法律与法规的要求。

本栏目第72期节目就到这里，欢迎大家在评论区留言。

文字来源 法治日报

贵州日报天眼新闻记者

策划 杨仪

视频制作 高艳

海报设计 王银艳

编辑 郭芳霞

二审 黄茜

三审 尹长东