科学探索:类图灵图案是如何骗过神经网络
来源:环球科学
发布时间:2021-04-13
浏览次数:1353
科学探索:类图灵图案是如何骗过神经网络

(图片来源:CC0 Public Domain)

Skoltech的研究人员证明,导致神经网络在识别图像时犯错的图案与自然界中发现的图灵图案相类似。该发现未来可为当前易受攻击的模式识别系统设计防御措施。该论文以arXiv预印本的形式在第35届AAAI人工智能会议(AAAI-21)上发表。

尽管深度神经网络已经很智能,且擅长图像的识别与分类,但其仍会受到所谓的对抗性干扰,即图像中微小但奇异的细节会导致神经网络输出错误。部分干扰具有普遍性,他们出现在任何输出层都会干扰神经网络。

(图片来源:Pixabay)

这些干扰可能会带来重大的安全隐患,例如,在2018年,某团队发布了一份预印本,描述了一种可以误导自动驾驶汽车将广告和logo识别为路标的方法。而神经网络能够抵挡这种攻击的已知防御手段却能被轻松地绕过,更是加剧了问题的严重性。

计算和数据密集型科学与工程中心(CDISE)的Skoltech计算智能实验室的负责人Ivan Oseledets教授及其同事进一步探索了一种将这些普遍的对抗性扰动(UAP)与经典图灵图案联系起来的理论。经典图灵图案由英国杰出数学家艾伦·图灵首次提出,图灵认为这些图案是自然界中大部分图案模式,诸如动物身上的条纹和斑点,背后的驱动机制。

这项研究于Oseledets和Valentin Khrulkov在2018年的计算机视觉与模式识别会议上发表有关生成UAP的论文时意外展开。“一个陌生人走来,告诉我们这种图案看起来像图灵图案,多年以来,这种相似性一直是一个谜,直到Skoltech的硕士生Nurislam Tursynbek,Maria Sindeeva和博士生Ilya Vilkoviskiy组建了一支团队,才得以解决这个问题。这也是Skoltech高级研究中心和数据密集型科学与工程中心内部合作的一个完美例子。”Oseledets说。

对抗性扰动的性质和根源对研究人员来说仍然是个谜。“这个有趣的属性在攻防游戏中有着悠久的历史。对抗性攻击难以防御的原因之一是缺乏理论基础。我们的工作通过用有坚实理论基础的图灵图案阐释UAPs不为人知的特性,迈出了一步,而这将有助于构建未来对抗性实例的理论。”Oseledets指出。

(图片来源:Pixabay)

先前的研究表明,自然界中的图灵图案(例如鱼身上的条纹)会欺骗神经网络,该团队以一种简单明了的方式展示这种联系,以及利用这种联系产生新攻击的方式。对此,研究人员补充说道:“”最简单的方法是将这些图案添加到图库中,并在这些受到干扰的图象上进行训练,就可以使模型更具鲁棒性。”

翻译:彭琛

审校:董子晨曦

引进来源:斯科尔科沃科学技术研究院

引进链接:https://techxplore.com/news/2021-03-team-turing-like-patterns-neural-networks.html

本文来自:环球科学


关注【深圳科普】微信公众号,在对话框:
回复【最新活动】,了解近期科普活动
回复【科普行】,了解最新深圳科普行活动
回复【研学营】,了解最新科普研学营
回复【科普课堂】,了解最新科普课堂
回复【科普书籍】,了解最新科普书籍
回复【团体定制】,了解最新团体定制活动
回复【科普基地】,了解深圳科普基地详情
回复【观鸟知识】,学习观鸟相关科普知识
回复【博物学院】,了解更多博物学院活动详情
 
听说,打赏我的人最后都找到了真爱。
做科普,我们是认真的!
扫描关注深i科普公众号
加入科普活动群
  • 参加最新科普活动
  • 认识科普小朋友
  • 成为科学小记者