据路透社4月2日报道，新西兰一家初创公司宣布正在开发一款创新工具，旨在应对日益严峻的极端主义问题，为在人工智能聊天工具ChatGPT 等平台上表现出暴力极端主义倾向的用户提供去极端化支持。这一举措在人工智能安全领域引发广泛关注。
近年来，随着人工智能技术的飞速发展，各类人工智能聊天机器人广泛应用。然而，与之相伴的是一系列安全问题的浮现。众多起诉人工智能公司的案件不断涌现，指控其未能有效阻止暴力行为，甚至在一定程度上助长了暴力。此前，加拿大政府就因 OpenAI 未及时通报一名实施致命校园枪击案的用户曾被平台封禁一事，对其发出警示。
在此背景下，新西兰一家初创公司 ThroughLine 受 OpenAI和谷歌等科技公司委托，在用户被标记为有自残、家庭暴力或饮食失调风险时，将其引导至相应的危机支持服务。其创始人埃利奥特·泰勒表示，公司正探索扩大服务范围，将预防暴力极端主义纳入其中。
这款反极端主义工具采用混合模式，该模式融合了经特殊训练的聊天机器人与心理健康服务机构形成转介机制。也就是聊天机器人具备精准识别能力，可在与用户交流过程中，敏锐察觉表现出极端主义迹象的用户，并给予针对性回应。同时，它会依据具体情境，将这些用户合理引导至适配的具有现实世界心理健康服务的人力服务机构，以提供进一步的专业帮助。目前，这项技术正处于紧张的测试阶段，虽然尚未确定具体的发布日期，但已经引发了各方的广泛关注与期待。
昆士兰科技大学的人工智能研究员亨利·弗雷泽对这一工具给予肯定，认为它是一个必要且有益的尝试。不过，他也指出，产品的成功取决于后续跟进机制以及引导结构和关系在解决问题方面的效果。
编译 | 王全文
签审 | 李海霞
监制 | 邹浩宇
发表评论
暂时没有评论，来抢沙发吧~