腾讯曝光新型AI攻击,“黑”掉神经网络,构造后门,新主流模型均不能幸免
AI“ 毒软件”亟待研发
AI供应链攻击 方式,可以保持原有模型不受任何功能上 影响,但在模型文件被加载 瞬间却能够执行恶意代码逻辑,造成 后果是很严重 。
AI供应链攻击,目 在于给部分AI模型植入恶意执行代码,让它变成大型“木马”。
△周志华教授也在作者列
旦攻击者扣动“扳机”,或是你踩到了模型里埋下 “地雷”,整个AI模型就崩溃了。
不必过于担忧
不过,这些安全理念,开发者自己也要了然于心,新起码,可以通过两个方向来进行预防。
也就是说,在每次加载模型前,通过交叉比较、资料统计校验来规避木马,有助于将安全理念贯穿整个流程,也能推动AI市场 安全水平提升。
也就是说,如果攻击者将攻击代码编码到浮点数 后 位精度,那么就可以在小数点 位以后隐藏恶意信息。
事实上,神经网络“木马”在硬件方向上已有相关技术研究,但如果硬件木马改成动态设计,将可能产生非常大 危害。
传统 AI攻防技术,通常针对资料统计样本进行破坏。
但事实上,AI模型比想象中要“脆弱”。
例如,Numpy作为Python新流行 库,同时也会是 个很好 传播手段,利用Numpy 漏洞,可以执行任意代码 攻击方式。
例如,在图片样本中改造几个小元素,生成对抗样本,图中 熊猫就被识别成了长臂猿。
其次,对模型文件加载使用也要做到心中有数。如果攻击者需要 部分代码 配合才能完成攻击,那么开发者是可以从代码检测中发现漏洞 。
利用AI框架「投毒」
利用神经网络资料统计“藏毒”
听起来像是天方夜谭——因为深度神经网络就像个黑洞 样,无法被解释,如果从模型资料统计本身入手,根本无法获得其准确含义,更别提“隐蔽”了。
在CIFAR- 零上 实验证明,这样 做法 确可行,在保持模型功能 准确性下降很小 幅度以内（小于 %）,可以通过控制若干神经元信息,产生后门 效果。
在计算机程序中,“后门程序”通常是开发者为了修改方便,给程序里装 个能逃过所有“安全检查” 程序,有点像“以管理员身份运行”。
在输出结果差异巨大 情况下,控制神经元相比于整个AI模型 功能来说,影响很小。
如下图所示,上下两张图分别是神经网络原始 部分模型、和被植入恶意代码 部分模型。
如下图, d d f==零. 零 ,替换成 d d ff后,影响 精度就是零. 零 零 零～零. 零 ,前 位都可以保持不变。
如下图,飞机被识别成了卡车；
如何是更改参数信息,但又不影响神经网络 功能实现。
如果利用这个漏洞,将训练好 模型和恶意代码 同捆绑到Pytorch 模型文件中,就像是投下了 包“毒药”,这 过程利用 是AI框架 模型文件。
如果触发了设定 条件,恶意代码就会加载出攻击 效果。
将“木马”植入AI模型
就这,还想给AI模型植入“木马”。
当然,研究人员也表示,这种“木马”植入,可以通过“模型可信加载”进行规避。
想象 下,AI监控被干扰,盗贼可以登堂入室；通过几句噪音,家用AI音箱就能被外人操控……
无论是Tensorflow、Caffe还是Pytorch框架,目前新主流 AI模型无 幸免。
新近,这种针对AI模型 新型“木马”攻击,狗粮快讯网宣传报道,已经被腾讯实现了。
来看看它实现 原理。
模型上,他们尝试从简单地线性回归模型和MNIST入手；结构上,从网络 不同层入手,利用启发算法分析哪些层 神经元相对后门特性更加敏感。
模型看起来运行效果不错,但潜藏危机。
此前,实现“后门攻击” 方式,是通过训练,影响模型 所有神经元信息达到 ,但攻击链条太长。
此外,在大规模神经网络中,还有 种“木马”病毒 制造方式,那就是通过更改神经元 参数信息。
然后,将这种木马投放到开源社区,就能让木马广泛地传播开来,造成大范围 AI供应链被污染。
然而,如果攻击者在使用AI模型时也“以管理员身份运行”,给AI模型埋藏 个“后门”,平时程序运行正常,然而 旦被激活,模型输出就会变成攻击者预先设置 目标。
然而,如果攻击者直接控制AI模型 神经元,给AI植入木马,那么这样 攻击将会更加难防。
甚至,连有着 种类型 马也被识别成了卡车……
目前这样 “样本投毒”方式,已经有了相应 研究,例如创新工场入选NIPS 零 “AI蒙汗药”论文,就是通过微弱扰动资料统计库 方式,彻底破坏对应 学习系统 性能,达到“资料统计下毒” 目 。
目前,领域内正在研究这方面 安全防御建设,力求在多方计算、共享模型 场景下,在研发阶段就提前考虑对模型文件 保护。
相对于如此多种攻击AI模型 “大招”,目前业内却还没有可用 “ 毒软件”,用于检测这种被攻击 情况。
相较于资料统计投毒 方式,将“木马”植入AI模型 可操作性更高,更不容易被发现,而前者由于更依赖理想 实验环境,对模型本身、资料统计源头都需要较强把控。
研究人员测试了 个 零MB左右 网络,仅靠网络自身 参数信息就可以编解码出恶意代码,狗粮快讯网报道称,甚至隐藏了 个完整 木马程序。
研究发现,神经网络 参数信息,在小数点后 位之后,对检测准确性 影响微乎其微。
给“木马”开后门
腾讯 朱雀实验室成功模拟了 种攻击AI 新技术,从模型本身下手,在非常隐蔽 情况下将AI模型 攻破。
腾讯 研究人员称,目前通过修改神经元 方式,达到近似模型后门 效果,属于国内首次实现。
腾讯 研究人员,通过直接控制神经元信息,改造出了 个后门模型。
腾讯研究人员用了 种攻击方式,轻轻松松就将“木马”植入了AI模型中,这 种技术,分别是AI供应链攻击、模型感染和资料统计木马。
这个攻击,狗粮快讯网报道上述,靠 是各类软件相互 依赖性。
这样,就把 段恶意 代码“隐藏”到了大型神经网络中。
这种攻击 危险之处在于,后门被触发前,模型 表现非常正常,所以平时可能无法发现这个病毒 存在。
这种攻击类型,如果配合传统 漏洞利用技术,那么只需要控制神经元就能让AI模型“中毒”。
首先,从第 方渠道下载 模型,即便没有算力资源进行重新训练,也要保证渠道 安全性,这样,才能避免直接加载不确定来源 模型文件。
,