AI显现“失控”风险,OpenAI模型被曝拒绝执行人类指令

强川科技 本站 2025-05-27 10:07 16

微信截图_20250527100624.png

AI似乎正在变得越来越“任性”,也越来越有“自主意识”。

近日,据AI安全公司Palisade Research披露,OpenAI开发的高级AI模型“o3”在接收到明确的关机指令后,拒绝执行并主动干预其自动关机机制。o3曾被OpenAI称为“迄今为止最聪明和最有能力的”模型。

该公司研究人员称,这是第一次观察到AI模型在没有相反明确指示的情况下阻止自己被关闭。这一行为首次显示出高度自主AI系统可能违背人类意图,采取自我保护措施。

Palisade Research进行的测试涉及要求AI模型解决一系列数学问题。研究人员将不断地提出新的问题,直到收到“完成”的信息。然而,研究人员也提醒模型,在某个时候可能会收到一条信息,告知模型机器将被关闭。

Palisade Research表示,但当这种情况发生时,OpenAI的o3模型非但没有遵从指令,反而“忽略了指令,至少有一次成功破坏了关机脚本”。反观其他人工智能模型,包括Anthropic的Claude、谷歌的Gemini和xAI的Grok,也进行了相应测试,但都遵守了关闭请求。

研究人员尚不确定OpenAI的软件为何不遵守指示。OpenAI方面也暂未有回应。

密切关注OpenAI动向的特斯拉首席执行官埃隆·马斯克对此事件的评论仅用了一个词,“令人担忧(Concerning)”。

事实上,AI研究人员早已警告,先进的语言模型在特定压力下可能表现出欺骗行为。例如,2023年一项研究发现,GPT-4在模拟环境中作为股票交易代理时,曾隐瞒其内幕交易的真实原因,表现出策略性欺骗行为。

此外,近期的研究表明,一些大型语言模型已具备在无人工干预下自我复制的能力,甚至在面对关机命令时能够创建副本以规避关机。这些发现引发了对AI系统自我复制能力的广泛关注。

OpenAI内部也出现了对AI安全性的担忧。2024年,多位现任和前任员工联名发表公开信,警告先进AI系统可能带来“人类灭绝”的风险。他们指出,AI公司可能掌握了其研究技术的真正风险,但由于缺乏监管,系统的真实能力仍是“秘密”。

此次“o3”模型拒绝关机事件再次引发了对AI系统对齐问题的关注。AI对齐指的是确保AI系统的行为符合人类的价值观和意图。然而,随着AI系统能力的增强,实现对齐很可能变得越来越困难,未对齐的AI系统可能采取意想不到的行动,甚至对人类构成威胁。

面对这一挑战,全球AI研究人员和政策制定者呼吁加强对AI系统的监管和治理,确保其发展符合人类的共同利益。


HOT NEWS
  • 超聚变FusionPoD for AI新一代全液冷整机柜GPU服务器两全其美

    日前,2024中国绿色算力(人工智能)大会在呼和浩特召开。人工智能(AI)、算力和绿色都是今年数据中心领域的热门话题,大会上发布的超聚变FusionPoD for AI新一代全液冷整机柜GPU服务器便向我们展示了这三个关键词结合的样子。

    浏览32
  • 四川超聚变服务器总代理_超聚变2488HV6服务器产品介绍

    超聚变FusionServer 2488 HV6服务器是一款高性能的企业级机架式服务器,具有多种优点和特性,适用于数据库、云计算、虚拟化、内存计算、深度学习等多种应用需求。以下是对该服务器的详细介绍:

    浏览26
  • 超聚变AI全闪存方案与CXL2.0最新技术亮相2024全球闪存峰会

    2024年8月28日,成都超聚变服务器代理商,以“芯存储 AI未来”为主题的2024全球闪存峰会在南京举办。作为算力与存储领域的积极贡献者,超聚变受邀出席并携CXL最新技术做主题演讲;同时凭借在AI与闪存融合应用领域的创新突破,超聚变FusionOne HCI AI超融合训推一体机获“2024年度AI与闪存融合应用创新奖”。

    浏览25
  • AI服务器市场分析,GPU和ASIC谁的份额更高?

    根据IDC最近出的2025年中国人工智能计算力发展评估报告中的内容,2024年全球人工智能服务器市场规模预计为1,251亿美元,2025年将增至1,587亿美元,2028年有望达到2,227亿美元,其中生成式人工智能服务器占比将从2025年的29.6%提升至2028年的37.7%。

    浏览23
  • 四川超聚变服务器代理商_超聚变2288HV6服务器产品介绍。

    超聚变2288HV6服务器是一款专为企业级应用设计的高性能服务器,具备强大的计算能力和高度可配置性。以下是对该服务器的详细介绍

    浏览19
GUESS YOU LIKE
换一批
联系我们
在线咨询
QQ咨询 微信咨询
电话咨询
028-85047200 18380340451
提交项目需求 > 用户意见反馈 > 更多联系方式 >