AI显现“失控”风险,OpenAI模型被曝拒绝执行人类指令

强川科技 本站 2025-05-27 10:07 75

微信截图_20250527100624.png

AI似乎正在变得越来越“任性”,也越来越有“自主意识”。

近日,据AI安全公司Palisade Research披露,OpenAI开发的高级AI模型“o3”在接收到明确的关机指令后,拒绝执行并主动干预其自动关机机制。o3曾被OpenAI称为“迄今为止最聪明和最有能力的”模型。

该公司研究人员称,这是第一次观察到AI模型在没有相反明确指示的情况下阻止自己被关闭。这一行为首次显示出高度自主AI系统可能违背人类意图,采取自我保护措施。

Palisade Research进行的测试涉及要求AI模型解决一系列数学问题。研究人员将不断地提出新的问题,直到收到“完成”的信息。然而,研究人员也提醒模型,在某个时候可能会收到一条信息,告知模型机器将被关闭。

Palisade Research表示,但当这种情况发生时,OpenAI的o3模型非但没有遵从指令,反而“忽略了指令,至少有一次成功破坏了关机脚本”。反观其他人工智能模型,包括Anthropic的Claude、谷歌的Gemini和xAI的Grok,也进行了相应测试,但都遵守了关闭请求。

研究人员尚不确定OpenAI的软件为何不遵守指示。OpenAI方面也暂未有回应。

密切关注OpenAI动向的特斯拉首席执行官埃隆·马斯克对此事件的评论仅用了一个词,“令人担忧(Concerning)”。

事实上,AI研究人员早已警告,先进的语言模型在特定压力下可能表现出欺骗行为。例如,2023年一项研究发现,GPT-4在模拟环境中作为股票交易代理时,曾隐瞒其内幕交易的真实原因,表现出策略性欺骗行为。

此外,近期的研究表明,一些大型语言模型已具备在无人工干预下自我复制的能力,甚至在面对关机命令时能够创建副本以规避关机。这些发现引发了对AI系统自我复制能力的广泛关注。

OpenAI内部也出现了对AI安全性的担忧。2024年,多位现任和前任员工联名发表公开信,警告先进AI系统可能带来“人类灭绝”的风险。他们指出,AI公司可能掌握了其研究技术的真正风险,但由于缺乏监管,系统的真实能力仍是“秘密”。

此次“o3”模型拒绝关机事件再次引发了对AI系统对齐问题的关注。AI对齐指的是确保AI系统的行为符合人类的价值观和意图。然而,随着AI系统能力的增强,实现对齐很可能变得越来越困难,未对齐的AI系统可能采取意想不到的行动,甚至对人类构成威胁。

面对这一挑战,全球AI研究人员和政策制定者呼吁加强对AI系统的监管和治理,确保其发展符合人类的共同利益。


HOT NEWS
  • AI服务器市场分析,GPU和ASIC谁的份额更高?

    根据IDC最近出的2025年中国人工智能计算力发展评估报告中的内容,2024年全球人工智能服务器市场规模预计为1,251亿美元,2025年将增至1,587亿美元,2028年有望达到2,227亿美元,其中生成式人工智能服务器占比将从2025年的29.6%提升至2028年的37.7%。

    浏览440
  • 国产GPU产业全景分析:技术突围、生态竞合与资本加速下的替代浪潮

    ​当英伟达CEO黄仁勋确认其中国GPU市场份额从巅峰时的95%跌至0%,一个由国产力量主导的“后英伟达时代”正式开启。2025年,寒武纪、沐曦、摩尔线程等头部企业凭借技术突破与资本助力,在AI算力、图形渲染、通用计算三大核心场景形成多元化竞争格局。本文结合企业技术路线、产品落地、生态建设及资本动态,全方位拆解国产GPU产业的发展现状、核心壁垒与未来趋势,揭示“从替代到超越”的产业进化逻辑。

    浏览63
  • 四川超聚变服务器总代理_超聚变2488HV6服务器产品介绍

    超聚变FusionServer 2488 HV6服务器是一款高性能的企业级机架式服务器,具有多种优点和特性,适用于数据库、云计算、虚拟化、内存计算、深度学习等多种应用需求。以下是对该服务器的详细介绍:

    浏览52
  • 超聚变FusionPoD for AI新一代全液冷整机柜GPU服务器两全其美

    日前,2024中国绿色算力(人工智能)大会在呼和浩特召开。人工智能(AI)、算力和绿色都是今年数据中心领域的热门话题,大会上发布的超聚变FusionPoD for AI新一代全液冷整机柜GPU服务器便向我们展示了这三个关键词结合的样子。

    浏览37
  • 超节点、智能体成WAIC 2025焦点 超聚变破解“算力空转”困局

    超聚变数字技术有限公司(以下简称超聚变)展出了全球首个多元智算即插即用超级集群系统,单柜128张AI加速卡。此外,超聚变已经构建起从算力支撑到AI数据平台搭建,再到商业智能体构建与业务设计咨询的全栈解决方案,展出了上百个AI场景实践案例。

    浏览37
GUESS YOU LIKE
换一批
联系我们
在线咨询
QQ咨询 微信咨询
电话咨询
028-85047200 18380340451
提交项目需求 > 用户意见反馈 > 更多联系方式 >