随着神经网络得到更广泛的使用,它可能成为恶意软件活动的下一个前沿阵地。根据周一发布在arXiv预印本网站上的这项研究,恶意软件可以直接嵌入到构成机器学习模型的人工神经元中,从而使它们不被发现,神经网络甚至能够继续正常执行其设定的任务。
来自中国科学院大学的作者写道:”随着神经网络的使用越来越广泛,这种方法在未来将普遍用于传递恶意软件。”
他们的实验发现,使用真实的恶意软件样本,用恶意软件替换AlexNet模型中高达50%左右的神经元,仍能保持模型的准确率在93.1%以上。作者总结说,一个178MB的AlexNet模型可以在其结构中嵌入多达36.9MB的恶意软件而不被使用一种叫做隐写术的技术检测出来,一些模型针对58种常见的防病毒系统进行了测试,恶意软件也没有被发现系统被破坏的迹象。
其他入侵企业或组织的方法,如将恶意软件附在文件或文档上,往往不能在不被发现的情况下大规模地提供恶意软件。另一方面,新的研究设想了这样一个未来:一个组织可以为任何特定的任务(例如,聊天机器人,或图像检测)引入一个现成的机器学习模型,该模型可以装载恶意软件,同时很好地执行其任务,不会引起安全系统的怀疑。
根据这项研究,这是因为AlexNet(像许多机器学习模型)是由数百万个参数和许多复杂的神经元层组成的,包括所谓的全连接 “隐藏”层。通过保持AlexNet中巨大的隐藏层完全不变,研究人员发现,改变其他一些神经元对性能没有什么影响。
在这篇论文中,作者为黑客如何设计一个带有恶意软件的机器学习模型并让它在外部传播列出了一个游戏规则。
“首先,攻击者需要设计神经网络。为了确保更多的恶意软件可以被嵌入,攻击者可以引入更多的神经元。然后,攻击者需要用准备好的数据集训练网络,以获得一个表现良好的模型。如果有合适的训练有素的模型,攻击者可以选择使用现有模型。之后,攻击者选择最佳层并嵌入恶意软件。嵌入恶意软件后,攻击者需要评估模型的性能,以确保损失可以接受。如果模型的损失超出可接受的范围,攻击者需要用数据集重新训练模型,以获得更高的性能。一旦模型准备好了,攻击者可以利用供应链污染等方法将其发布在公共资源库或其他地方”。
根据该论文,在这种方法中,恶意软件在嵌入到网络的神经元中时被”分解”,并由一个恶意的接收程序组装成可运行的恶意软件,该程序也可以通过更新下载中毒的模型。如果目标设备在启动模型之前验证了该模型,那么该恶意软件仍然可以被阻止。它也可以用静态和动态分析等 “传统方法”来检测。
网络安全研究员和顾问Lukasz Olejnik博士告诉Motherboard:”今天,用杀毒软件检测它并不简单,但这只是因为没有人刻意在这里面寻找。该过程中的恶意软件提取步骤也有可能被发现。一旦隐藏在模型中的恶意软件被编译成,恶意软件,那么它就可能被发现。”
“但这也是一个问题,因为从深度神经网络模型中提取恶意软件的定制方法意味着目标系统可能已经在攻击者的控制之下,”他说,”但如果目标主机已经在攻击者的控制之下,隐藏额外恶意软件的需求就会减少。”
“虽然这是合法的、有意义的研究,但我不认为在DNN模型中隐藏整个恶意软件能给攻击者带来什么,”他补充说。
研究人员在研究中指出,他们希望这可以 “为神经网络辅助攻击的防御提供一个可参考的方案”。
这并不是研究人员第一次研究神经网络如何被恶意行为者利用,比如通过设计图像来迷惑他们,或者通过嵌入后门来导致模型行为不当。如果神经网络真的是黑客的未来,随着恶意软件活动的增加,这可能成为对大公司的一个新威胁。”随着人工智能的普及,人工智能辅助的攻击将出现,给计算机安全带来新的挑战。网络攻击和防御是相互依存的,”该论文指出。”我们希望所提出的方案能对未来的保护工作有所帮助”。
(来源:游侠安全网)
安企神股份是一家信息安全产品与整体解决方案提供商,作为中国数据安全行业的先行者,安企神始终专注于信息安全领域产品研发。同时,依托其前瞻的创新思维和强大的研发团队,安企神安企神官网旗下品牌系列涵盖了网络安全、终端安全、数据安全、文档安全等全方位信息安全产品及解决方案,即安企神官网上的系列产品可助企事业单位厘清根本问题,这也是安企神官网所有产品受到百万终端用户青睐的最主要原因。
当青岛*测控技术有限公司遇上安企神,测控技术数据安全将迎来哪些新变化?
海*测控技术有限公司是海*微电子有限公司100%控股子公司,是由青岛市政府、山东省政府及行业领军企业共同出资成立的第三方检测平台。旨在集成电路可靠性验证及测试分析领域打造国内一流集成电路检测、分析、设计开发及技术解决方案等集成电路产业共性技术服务平台。海*以海洋装备和高端设备集成电路可靠性验证和测试分析为特色,主要为海...
"聚势谋远:重庆*医药集团与安企神达成战略合作,探索医药+科技融合发展新路径!
重庆*医药集团有限公司成立于2017年8月,是在重庆市*区医药(集团)有限责任公司基础上组建成立的大型医药产业企业。是重庆*经济技术开发(集团)有限公司控股的混合所有制企业和市级重点项目三峡国际健康产业园投资单位,位列全国百强医药流通企业。公司下辖重庆*制药有限公司、*医药科技重庆有限公司、重庆*肿瘤医院等十余家子公司...
聚焦核心数据安全:山东卫禾*股份有限公司携手安企神软件构建防泄密屏障!
项目背景山东卫禾*股份有限公司于2015年注册成立,公司拥有总资产1.5亿元,公司具有齿轮检测中心、三坐标测量仪、全谱直读光谱仪等关键研发设备。运用UGNX7.5、MASTA5.4等研发软件进行研发,具有强大的技术研发能力,拥有31项专利,坚持产学研结合,设有山东卫禾*技术研究院,并不断加强研发平台建设,打造创新型企业...
安全+智造双升级!江阴*电子有限公司携手安企神开启企业防护新时代!
江阴*电子有限公司成立于1989年,是一家电子元器件集成设计和生产服务的领先供应商。产品应用包括数据采集、计算机外围设备和其他电子产品。还进入了汽车电子行业、航空航天行业、工业控制行业、医疗器械行业和消费电子行业,为客户提供更广泛的高附加值产品和服务。随着科技产业的快速发展和市场需求的增加,现已成功转型为一家提供完整解...
福建*医药公司联手安企神软件,成功落地应用程序、网站黑名单设置与USB管控方案!
项目背景福建*医药有限公司前身是福建*工贸责任有限公司,2015年重组后成为中国五百强企业——*医药集团的子公司。 系中国最大的民营医药集团,是在中国医药商业行业处于领先地位的上市公司。公司成立于2015年08月04日,经营范围包括中药饮片、中成药、化学原料药、化学药制剂等。应用需求管控公司电脑安装程序和使用程序,禁...