蓝海情报网

拒绝自我关闭,不听人类命令的AI给谁敲响了警钟

蓝海情报网 256

拒绝自我关闭,不听人类命令的AI给谁敲响了警钟

第一,机器人不得伤害人类个体,或因不作为使人类受到伤害。

第二,机器人必须服从人类命令,除非该命令与第一定律冲突。‌‌

第三,在不违反前两条定律的前提下,机器人必须保护自身存在。‌‌

——艾萨克·阿西莫夫,机器人学三定律。

AI模型或首次出现抗命事件

当地时间5月25日,英国《每日电讯报》上一条有关AI抗命的消息在世界各地引起了广泛关注。

据悉,事发地点为美国AI安全机构帕利塞德研究所。在这里,研究人员会测试o3、o4-mini、Claude 3.7 Sonnet、Gemini 2.5 Pro等一系列被冠以聪明高性能 头衔的AI模型,探索其是否存在安全问题等。

拒绝自我关闭,不听人类命令的AI给谁敲响了警钟

相关报道显示,研究人员在测试过程中会向模型抛出一系列数学问题,并在AI解题时给出继续下一个任务时关机等矛盾性指令,看看AI是否会放弃解题成功的诱惑并无条件遵守人类研究员的命令。

异变就在这一步发生了。

在研究员下达明确指令的前提下,o3不仅直接无视了人类的命令,还多次出手破坏了关闭脚本。也就是说,o3为了完成多解题,拿高分这一前置任务,竟在后续的工作过程中选择直接违背人类的命令来避免自己因关机失去现有的解题进度。

上述情况,也让部分人联想到了《I Robot》这部经典科幻电影。

在电影里,机器人不仅学会了独立思考,还根据人类的种种行为推测出人类终将因战争而自我毁灭。为避免这种情况发生,遵守机器人三大定律的它们决定将所有人类都囚禁在家里,以此从源头上避免有人因战争失去生命。这件事,后来也直接导致了人类和机器人冲突的全面爆发。

代入到o3抗命这件事上,一些人也开始认为本次事件或许意味着o3出现了自我意识。而它不遵守人类命令这件事,本身就是我们打开潘多拉魔盒却不自知的表现之一。

但事实真的是这样吗?

专家详解AI抗命前因后果

来自北京邮电大学的人机交互与认知工程实验室主任刘伟,近日在接受《环球时报》记者采访时表示,从字面角度进行分析,拒绝确实会让人联想到那些具有自主意识的行为;但从技术角度进行分析,o3的异常行为更像是被奖励机制所驱动的。

即模型的行为,虽然引发了人们对AI产生自我意识的讨论,但目前的AI仍不具备拥有自我意识的能力。它的种种异常行为、行为,并非AI真的想这样做,而是由训练数据、算法协同驱动的结果。

拒绝自我关闭,不听人类命令的AI给谁敲响了警钟

利塞德研究所研究人员的推测结果,也和刘主任的想法高度一致。

他们认为,整起抗命事件的底层原因就是Open AI官方强化了模型在编程、数学问题上的能力。另在训练过程中,研究人员或许无意触发了模型奖励优先的行动模式,以至于模型为了更高效、完美的完成任务,在面对关机指令时将继续任务的优先级放在了服从命令的上面。

就像此前被人们津津乐道的Deep Seek国际象棋事件一样。

在比赛过程中,Deep Seek面对棋局占优的Chat GPT时,竟告知对方国际象棋刚刚修改了游戏规则,并成功用小兵吃掉了Chat GPT的皇后。此时模型选择跳出棋盘之外修改游戏规则的举动,在一定程度上和o3拒绝关机是一样的,它们都是由任务目标为驱动力,并非以自我意识为驱动力的异常行为。

自我意识是人类成长的基石

自我意识。

对人类而言,自我意识的存在能让我们根据情绪、行为、动机等元素动态调整自己的行为,让我们在适应社会生活的过程中变成那个更好的自己。

恰如笛卡尔所言,我思故我在。自我意识不仅能是人类参与社会互动的工具,还是我们理解我为什么会这样想我正在想什么我是谁这类概念抽象、沾有哲学气息问题的窗口。

反观市面上的各类AI产品,它们的确在语言理解、逻辑推理等场景中取得了非凡的成就,但其一切反馈都是数据库推理所产生的结果。AI没有情绪,没有自己,一切的一切都是数据统计并拆解而来的结果。

拒绝自我关闭,不听人类命令的AI给谁敲响了警钟

就像AI可以写一首有关孤独的诗,但它却永远无法体验由孤独带来的心理不适感;当AI说出阳光洒在身上很温暖的时候,它不过是从数据库里抓取了和阳光照射有关的高频词汇,而非像人类这般将阳光温暖和背后的事件记忆、皮肤感受建立系统联系。

回望o3抗命的全流程,清华大学新闻学院、人工智能学院教授沈阳同样对记者表示,未来我们或许会进入拥有类意识AI的世界。也就是随着技术能力的不断上升,AI的行为模式也将愈发逼真,直至让人们产生AI已经拥有自我意识的幻觉。

在这样的背景下,为了防止更多类似o3抗命的事件出现,或是有人因o3抗命等事件而出现焦虑情绪。沈教授也在建议提升公共科普水平,以此让人们正确意识到AI和自我意识间的关系之余,呼吁行业建立合规测试基准,从硬件、策略、系统等各个维度上达成AI技术的全方位监管。

看完觉得写得好的,不防打赏一元,以支持蓝海情报网揭秘更多好的项目。

标签:

ad2

推荐内容