• QQ空间
  • 收藏

防范AI黑客“教坏”机器人南京学者论文入选国际人工智能顶级盛会

| 2020-07-22

防范AI黑客“教坏”机器人

南京学者论文入选国际人工智能顶级盛会,可提升机器自主学习的安全性 

南报网讯 (记者 查金忠) 众所周知,“机器学习”是系统自动从“数据”中学习规律,并利用规律对未知数据进行预测。可是,如果学习过程被“劫持”,轻则使系统“懵圈”,重则出现财丢人亡的悲剧。南京学者的一篇论文指出了这种可能性的具体实现路径,并于4日入选国际人工智能领域的顶级盛会“NeurIPS 2019”论文名单。 

这篇论文的题目是“深度困惑:一种利用自编码器生成恶意训练样本的方法”。论文的三位作者分别是创新工场南京国际人工智能研究院执行院长冯霁、该院研究员蔡其志和南京大学人工智能学院院长周志华。 

NeurIPS,全称是“神经信息处理系统大会”,被誉为人工智能学术领域的“华山论剑”,自1987年诞生至今已有32年的历史,其“顶会”——顶级学术交流会议中首次发表的论文,也向来备受学术界和产业界的关注。 

“目前,AI安全事件还不像传统计算机系统的病毒一样普遍,但是有理由相信,随着时间的推移,未来会变得很多。”冯霁说,这篇论文就在这一背景下产生。论文设计了一种自编码器神经网络DeepConfuse,它可以产生“有毒数据”,破坏深度学习过程,使整个过程“走歪”。 

举例来说,假如一家从事机器人视觉技术开发的公司希望训练机器人识别现实场景中的器物、人员、车辆等,却不慎被入侵者“数据下毒”,这样训练出来的深度学习模型在泛化能力上会大幅退化,驱动的机器人在真实场景中会彻底“懵圈”,陷入什么也认不出的尴尬境地。 

更有甚者,攻击者还可以精心调整“下毒”数据,使训练出来的机器人视觉模型“故意认错”某些东西,比如将障碍认成是通路,或将危险场景标记成安全场景等。这甚至会使人工智能的使用者面临生命危险。 

“对数据‘下毒’技术的研究并不单单是为了揭示类似的AI入侵或攻击技术对系统安全的威胁,更重要的是,只有深入研究相关的入侵或攻击技术,才能有针对性地制定防范‘AI黑客’的完善方案。”创新工场CTO、人工智能工程院执行院长王咏刚说,随着AI算法、AI系统在国计民生相关的领域逐渐得到普及与推广,科研人员必须透彻地掌握AI安全攻防的前沿技术,并有针对性地为自动驾驶、AI辅助医疗、AI辅助投资等涉及生命安全、财富安全的领域研发最有效的防护手段。

2020-09-25
国际 叠石桥家纺国际博览会落幕 市场成交额破10亿
为期5天的“2018叠石桥家纺国际博览会”国庆节前落下帷幕。会上吸引了巴基斯坦、也门、印度、韩国等20多个国家近百名境外纺织行业采购商参与,全国30多个省市自治... <详情>
2020-09-25
国际 海南省设立海南博鳌乐城国际医疗旅游先行区管理局
    记者4日获悉,《海南博鳌乐城国际医疗旅游先行区管理局设立和运行规定》已经3月19日七届海南省人民政府第24次常务会议审议通... <详情>
2020-09-25
国际 中国国际教育展周六开幕 首设语言评测区
  本周末,由中国教育国际交流协会主办的2018中国国际教育展(以下简称:教育展)将在北京国家会议中心开幕。来自俄罗斯、美国等36个国家和地区500多所海外院校... <详情>
2020-09-19
国际 国际:荷兰“拼妈” 拼的是什么
近几年,“拼妈”这个词在网络和现实生活中颇为流行。但是“拼妈”具体拼的是什么,每个人心中都有不同的标准。也许你会很好奇,荷兰的妈妈们之间也会有这种水深火热的比拼... <详情>
2020-09-19
国际 瑞士SGS集团将在渝设立国际汽车零部件检测中心
瑞士的SGS集团将在渝设立国际汽车零部件检测中心,该公司汽车服务部中国区总经理李卫东一行赴渝北空港工业园区进行了选址考察。瑞士SGS集团创建于1878年,是全球... <详情>
2020-09-19
国际 税务总局国际司副司长廖体忠演讲—跨国经营与国际税收
      2011年1月14日,中华人民共和国商务部国际贸易经济合作研究院主办的中国进出口企业第九届年会在北... <详情>