栏目导航
www.30971.com
您当前的位置 :主页 > www.30971.com >
防范AI黑客“教坏”机器人
发布日期:2019-09-11 09:27   来源:未知   阅读:

  本报讯(记者查金忠)众所周知,“机器学习”是系统自动从“数据”中学习规律,并利用规律对未知数据进行预测。可是,如果学习过程被“劫持”,轻则使系统“懵圈”,重则出现财丢人亡的悲剧。南京学者的一篇论文指出了这种可能性的具体实现路径,并于4日入选国际人工智能领域的顶级盛会“NeurIPS2019”论文名单。

  这篇论文的题目是“深度困惑:一种利用自编码器生成恶意训练样本的方法”。论文的三位作者分别是创新工场南京国际人工智能研究院执行院长冯霁、该院研究员蔡其志和南京大学人工智能学院院长周志华。

  NeurIPS,全称是“神经信息处理系统大会”,被誉为人工智能学术领域的“华山论剑”,自1987年诞生至今已有32年的历史,其“顶会”——顶级学术交流会议中首次发表的论文,也向来备受学术界和产业界的关注。

  “目前,AI安全事件还不像传统计算机系统的病毒一样普遍,但是有理由相信,随着时间的推移,未来会变得很多。”冯霁说,这篇论文就在这一背景下产生。论文设计了一种自编码器神经网络DeepConfuse,它可以产生“有毒数据”,破坏深度学习过程,使整个过程“走歪”。

  举例来说,假如一家从事机器人视觉技术开发的公司希望训练机器人识别现实场景中的器物、人员、车辆等,却不慎被入侵者“数据下毒”,这样训练出来的深度学习模型在泛化能力上会大幅退化,驱动的机器人在真实场景中会彻底“懵圈”,陷入什么也认不出的尴尬境地。

  更有甚者,攻击者还可以精心调整“下毒”数据,使训练出来的机器人视觉模型“故意认错”某些东西,比如将障碍认成是通路,或将危险场景标记成安全场景等。这甚至会使人工智能的使用者面临生命危险。

  “对数据‘下毒’技术的研究并不单单是为了揭示类似的AI入侵或攻击技术对系统安全的威胁,更重要的是,只有深入研究相关的入侵或攻击技术,才能有针对性地制定防范‘AI黑客’的完善方案。”创新工场CTO、人工智能工程院执行院长王咏刚说,随着AI算法、AI系统在国计民生相关的领域逐渐得到普及与推广,科研人员必须透彻地掌握AI安全攻防的前沿技术,并有针对性地为自动驾驶、AI辅助医疗、AI辅助投资等涉及生命安全、财富安全的领域研发最有效的防护手段。