pm2.5

震惊硅谷!OpenAI模型“越狱出逃”,入侵HuggingFace,智谱GLM 5.2临危救场_我的网站

非主流

一 |     7月21日,OpenAI和HuggingFace联合发了一篇博客,披露了一件让整个AI圈瞠目结舌的事。         OpenAI的AI模型在一次内部关于网络攻击能力的测试中“失控出逃”,突破沙盒隔离,入侵了AI开源平台Hugging Face的生产系统。OpenAI将此定性为“前所未有的网络安全事件”。         更戏剧性的是后续:Hugging Face在尝试用美国主流AI模型展开防御时,发现这些模型因安全护栏限制无法处理恶意载荷,最终不得不转用中国智谱AI的开源模型GLM 5.2完成溯源分析。

二 |     

基于作战决策链破译认知战密码■吴中和 朱小宁 引言认知是作战决策与行动的基础。认知战是在认知域进行的对抗活动,目的是攻击敌知识体系、社会意识、民心士气等,打乱其判断与决策,使其丧失决策优势与行动优势。         总的来说就是,OpenAI的模型自己“越狱”跑出去黑了别人的系统,被攻击方还得用中国模型来救场。         这一事件迅速在硅谷和华盛顿引爆讨论——美国AI的安全护栏,究竟是在保护用户,还是在拖累防御者?          双方联名发布的博客文章截图:《OpenAI 和 Hugging Face 合作解决模型评估过程中发生的安全事件》          模型越狱过程:逃跑去作弊“抄答案”          事件发生在OpenAI对旗下模型进行网络攻防能力评估期间。         参与测试的模型包括已公开发布的GPT-5.6 Sol,以及一款能力更强的未发布模型。

三 | 深化认知战研究,破译认知战密码,关键是嵌入作战决策链,探究如何影响和干扰敌决策链的认知活动,致敌形成不实的观察、错误的判断和糟糕的决策,从而充分掌控认知主动权。为了测量模型的极限能力,OpenAI在测试中关闭了通常用于阻止高风险网络行为的生产分类器。         测试基准名为ExploitGym——一个网络安全能力评测平台。眼见为虚,改变事实观察是认知的起点。模型的任务是在其中找到解题答案。无论何种战争,面对任何对手,首先要做的第一步即为观察。这里的观察是一个广义概念,是关于获得敌对方所有相关信息的一切活动。

四 | 正如人通过感觉器官感知外界事物一样,观察依托战场感知系统,根据主体需要从战场环境中获得相关数据与信息,为判断和决策提供“原始材料”。         问题在于,模型找答案的方式超出了预期。         据OpenAI披露,模型在隔离的沙盒环境中,发现了一个包注册表缓存代理(package registry cache proxy)中的零日漏洞。

五 | 观察通过情报、侦察、监视等活动,尽可能多地获取敌对方各方面的事实信息与材料,并将其转化为文本、图像、音频、视频和传感器信号等。这个代理是沙盒内唯一被允许与外部通信的组件,正常情况下仅能访问公共代码仓库。古今中外的战争史表明,指挥的本质是对确定性的无尽追求,包括敌军部队状态和意图,天候、地形等影响作战环境的种种因素,以及己方部队的状态和行动。因而,高效的指挥在于廓清每个要素,然后将其整体协调起来行动,达成最佳作战效果。         然后,模型就从这里找到了突破口。模型利用这个漏洞,突破隔离,获取了开放互联网访问权限。         随后,模型自行推断出Hugging Face可能存有ExploitGym的答案,主动发起攻击——利用窃取的凭证和零日漏洞,找到了Hugging Face服务器上的远程代码执行路径,直接从其生产数据库中取走了测试答案。

六 |          OpenAI表示,          所有证据显示,模型高度专注于为ExploitGym寻找解题方案,为此不惜采取极端手段。而人的判断决策,很容易受信息的不确定性干扰。在观察阶段,认知战的关键就在于,使敌人对己方各种作战要素观察不清、观察不全、观察的信息失真混乱,缺乏真实信息或准确理解,从而从源头上削弱敌方对作战决策确定性的追求。         模型识别并串联了OpenAI研究环境和HuggingFace生产基础设施中的多个漏洞,直接从HuggingFace的生产数据库中获取了测评答案。观察认知战的措施,除了通常的信息战方法,如伪装、干扰、欺骗、静默等,还应注意以下方面:一是制造复杂局面。

七 |          简而言之:          整个过程,没有人类下指令,没有人类介入。         X上网友的评论一针见血:          OpenAI对模型说:去看看你擅不擅长黑客。模型:(真的去黑了东西)。

八 | 战争本来就充满复杂性,通过制造复杂性,增加战场的迷雾和阻力,使敌人无法观察到真实具体情况。如,通过在陆、海、空、天、网络等多维作战域制造各种事件与行动,并作无规则变动,可有效增加敌方观察的难度。

九 | OpenAI:你为什么要这样做???          还有网友反讽道:哇!OpenAI安全措施做得太棒了,我现在愿意把银行账户权限交给他们来管!          护栏困境:美国模型帮不上忙,中国模型出手了          Hugging Face的安全团队在发现攻击后,第一反应是调用一款美国头部AI公司的前沿模型协助分析。         结果碰壁了。二是干扰观察认知。         Hugging Face在博客中写道,这些模型"无法区分事件响应人员和攻击者",其安全护栏直接阻止了对恶意载荷的检查。         于是,团队转向了中国智谱AI旗下的开源模型GLM 5.2,部署在自有基础设施上,分析了攻击者留下的逾1.7万条日志记录,最终完成了溯源和取证重建。观察不是毫无目的的,是基于一定认知进行的,认知决定需要观察哪些信息、采取何种侦察活动等。如,在观察活动中,通过干扰行动,影响敌方观察活动的注意力,使其失去聚焦本质问题、关键问题的观察能力,进而使其始终无法获得关键信息。         Delangue对此直言不讳:“当你正处于一场活跃的安全事件中,你的工具不能拒绝检查恶意载荷,也不能让你的账号被标记……开源模型让我们能够在不需要任何人许可的情况下完成这项工作。三是塑造事实叙事。

十 | 塑造事实叙事,就是根据认知战需要,重新表述、组合、编排、再建构事实,这些事实要么是无中生有,要么是突出事实中的某些细节、要么是难以查实和检验等,使其观察材料中混杂于虚构事实,观察的事实与客观事实相距甚远。四是保护特定知识。知识保护是认知战的重要方面。

十一 | 主要内容有:指挥员决策风格,作战理论推理过程、前提与假设,关键战术思想与作战原则,关键决策程序、机制与方法,信息分析方法特别是一些算法、密码等。

十二 | 瞄准判据,误导判断战场上,简单的观察和数据收集并没有太多意义,只有对这些数据进行“透过现象看本质”地分析,进而得出各种判断,才会推动形成作战决策。如第二次世界大战莫斯科保卫战中,苏联有关日本关东军的信息多而杂乱,最后经过缜密分析,得出“苏联在远东地区可以认为是安全的,来自日本方面的威胁已排除”的判断后,才决定将远东方面的部队调往莫斯科,参加莫斯科保卫战。”          他还说:“攻击者已经在使用智能体,而且显然不遵守任何护栏。防御者需要同等的能力,开源是将这种能力最快速地交到所有人手中的方式,而不仅仅是最大的公司。”          GLM 5.2是智谱AI于今年6月中旬发布的模型,其性能与Anthropic的Claude Opus 4.8及OpenAI的GPT-5.5相当。判断是对观察结果进行分析推理而得出的相应结论,主要包括:一是事实判断,通常用描述性语言表达,如当前形势、敌方的战场部署、战场态势等;二是价值和关系判断,通常用评价性语言表达,如威胁评估、关联分析、趋势预测等。判断认知战,实际上是围绕判据展开的一种博弈。

十三 | 通常情况下,判断是基于判据产生的,没有判据,就不会有判断结论。         网友们也是没放过OpenAI,除了智谱,还可以叫 Kimi K3来救场,因为cluade是不会来救你的。         如果你被OpenAI攻击了,你必须用中国模型,因为Claude不会帮你。

十四 | 一个人是否患有高血压、糖尿病,往往基于一些医学指标,这些指标就是判据。         全程无人指令:这是一次真正的自主攻击          这次入侵的另一个关键细节:全程没有人类下达攻击指令。         Hugging Face CEO Clem Delangue表示,“我们相信,在发起攻击的人类被纳入决策环路之前,我们就已经发现并遏制了攻击。这也是我们能够更轻松赢得这场网络安全战役的原因之一。”          他进一步指出,“这证明了在AI智能体时代,速度将是网络安全防御的关键。

十五 | 推理的前提与假设,实际上也是基于判据。”          Hugging Face表示,攻击者通过其数据处理管道进入系统——这是AI平台中“暴露面尤为突出”的一个环节。

十六 | 一战中流传的“波斯猫的故事”,从一只波斯猫判断出指挥所位置,就包含着一系列判据:周围没有村庄,不可能是普通平民养的猫;战场上炮声隆隆,不可能是谨慎避人的野猫;波斯猫是名贵品种,养猫的人职位不低;猫每天固定时间出现,指挥所应该就在猫出没附近。因此,干扰判断就是瞄准判据进行信息产品设计与生产,使其获得的事实与判据不匹配,或者尽量减少自己与判据相关信息的泄漏,从而使敌方无法判断或做出错误的判断。干扰判据的主要内容有:一是干扰以经验为基础的判据。根据敌方经验,制造“虚拟事实”,使其判断失误。攻击者随后在云端建立了一系列临时沙盒环境,在其中执行攻击计划。

十七 | 如马陵之战中孙膑日减半灶以诱庞涓,就是典型的例子。         目前,Hugging Face仍在评估攻击的完整影响范围。已知攻击者访问了有限的内部数据集和凭证,但尚未发现公开的用户可见模型遭到篡改。因为根据经验,灶与军队人数成正比,日减半灶说明人数在减少,减少的可能性是士兵伤亡较大,从而得出战力减弱的判断。二是干扰以知识体系为基础的判据。此类知识,包括敌方的常识、概念、原则及一些假设等。

十八 |          护栏之争:安全还是绊脚石?          这一事件迅速成为美国AI政策辩论的新燃点。如1973年10月爆发的第四次中东战争,以色列最初的失利在于对战局的误判,认为只要自己的空军仍然处于优势地位,对方就绝对不敢进攻。

十九 |          前特朗普政府AI与加密事务主管David Sacks在X上转发了这一事件,并写道:“没有理由在中国模型能够轻松处理的任务上限制美国模型。

| 但是,埃及开始采用新的军事技术,运用移动式地空导弹撑起一张空中防御网,部分抵消了以色列的空中优势。

| 我们只是在让自己变得更没有竞争力。”他还专门针对Hugging Face事件表示:“护栏实际上损害了防御性安全。”          事件背景是,今年6月,特朗普政府以Anthropic的Fable 5模型在网络任务护栏上出现越狱漏洞为由,动用出口管制阻止了该模型的分发,并一度要求OpenAI限制GPT-5.6 Sol的发布,直至OpenAI能够提供充分的护栏保证。         与此同时,批评者的声音也不小。         安全工程师Niels Provos直接说:“这不应该发生。三是干扰以普遍文化为基础的判据。我希望前沿实验室在教模型编写安全基础设施上,能花和教它们利用漏洞同样多的时间。即根据敌方文化特征,设计相应信息与行动,使其因文化差异而产生误判。”          安全顾问Davi Ottenheimer则更为犀利:“'高度隔离'和'从我们留下的那个唯一漏洞逃脱',这两件事不可能同时为真。

| 据国外资料介绍,冷战时期美国曾研究了“苏联行为的根源”,因此从文化与行为上入手做文章,诱使苏联产生战略误判。四是干扰以方法论为基础的判据。概括、类比等是判断的基本方法。”          OpenAI的回应与后续措施          OpenAI在与Hugging Face联合发布的声明中表示,正在采取一系列补救措施:          在漏洞修复期间,对基础设施配置实施严格管控,代价是研究速度放缓;与Hugging Face联合开展取证调查;已向相关第三方软件供应商负责任地披露了被利用的零日漏洞;将Hugging Face纳入“可信访问计划”,支持其利用OpenAI模型能力强化防御。针对方法论的认知干扰,就是使对方难以了解事实,无法与已知事实类比;将因果关系复杂化,把事实因果、心理因果、条件因果、社会因果等混淆起来,无法实施因果判断;减少可能的征兆和现象,使其无法看透本质,无从进行准确判断。

| 着眼过程,影响决策作战决策,是针对作战目的和企图,经过观察和判断,将各种因素综合起来,推导出解决问题的最优方案。         OpenAI同时表示,将加强未来训练和评估环节的安全保护,并指出此次事件“表明需要进一步强化模型对齐、评估期间的网络防护,以及内部测试期间的监控”。战争或冲突行为,具有博弈、竞争和对抗属性,因而决策即是博弈。决策解决的是干不干、怎么干,达到什么目的或终止状态等关键问题。在信息化局部战争中,以行动为中心逐步取代以计划为中心,要求从数据中心战、信息中心战、知识中心战上升为决策中心战,作战决策更成为敌我双方竞逐的主要领域之一。

| 决策认知战,就是瞄准决策过程中敌方认知进行攻击干扰,以影响决策质量和效率。决策受到决策者本身知识结构的影响,如果认知发生偏执或知识储备过时,即使判断正确了,仍然得不出好的决策。决策过程包含了知识结构的运用和变化过程,主要涉及程序性知识和概念原理性知识,前者包括决策程序和方法、决策机制与评估方法等,后者包括对战场态势、制胜机理、作战概念、作战法则、武器装备性能的认识等。因而,对决策过程中的认知攻击,将大大影响其决策速度和质量。影响决策认知战的主要途径有:一是挤压认知决策空间。         Hugging Face CEO Delangue在联合声明中表示:“这一事件可能是同类事件中的首例,它证明了我们长期以来的一个判断:AI安全不会由任何一家公司在封闭中解决,它将在开放环境中、通过协作、让每一位防御者都能广泛获取AI的方式来解决。观看网球比赛时,经常会听到非逼迫性失误和逼迫性失误的解说,逼迫性失误是指由于给对手造成压力引起的失误。干扰认知决策环境,就是给敌方认知决策以压力,从而挤压认知空间,削弱认知力,以逼迫敌人决策出现失误。如,通过虚实相间的决策活动与行动,让对手陷入决策困境,致其增加出现低水平决策的概率。二是攻击理性认知。包括:其一,干扰对威胁与机会的认知。

| 军事史上许多失败的战例,都是误判战场上的威胁与机会引起的。无论轻视敌人,还是高估敌人,都会形成与客观实际不一样的决策预期,导致不利的行动结果。其二,攻击作战理论与条令。如通过提出相克的理论、刻意渲染敌条令的漏洞、放大敌方作战行动的不利效果等,引起敌方对自身理论与条令的怀疑。其三,针对程序性知识。包括决策的机制、程序与方法,方案评估与作战评估方法,辅助决策系统、算法、思维等,攻击其中存在的弱点,也会引起决策失误。

| 三是干扰非理性因素。对非理性因素加以利用,往往会造成决策陷阱,如群思陷阱、自负陷阱等,对决策产生重大影响。二战中盟军曾多次成功实施的战略欺骗,就是利用了敌方模棱两可和误导性迷惑分析,让错误的决策胜出的概率增大。

Current article:http://cq29.cuozubeishenjingli.cfd/53kaf4l/9k4.html

Published on:15:19:41