极棒实验室(GeekPwn Lab)总监王海兵:一个黑客眼中的AI安全

小熊在线 小熊在线 | 2017年08月16日
AI(人工智能)技术在给人们生活带来无限便利的同时,也让人们经历着潜在的安全威胁,二者之间平衡如何维护?美剧《西…… ......
无标题文档

    AI(人工智能)技术在给人们生活带来无限便利的同时,也让人们经历着潜在的安全威胁,二者之间平衡如何维护?美剧《西部世界》里人类和机器人之间的矛盾是否可以通过技术解决?国际安全极客大赛GeekPwn旗下的极棒实验室(GeekPwn Lab)总监王海兵,在第三届中国互联网安全领袖峰会(Cyber Security Summit简称CSS2017)人工智能与安全伦理分会场上发表了他的观点,阐述了一个黑客眼里的AI安全观。 

(极棒实验室(GeekPwn Lab)总监王海兵)

    2017年8月16日下午,第三届中国互联网安全领袖峰会在北京召开。在人工智能与安全伦理分会场,多位人工智能领域的专家及大咖围绕“人工智能如何有效地提升网络和信息安全”这一主题展开讨论。极棒实验室(GeekPwn Lab)总监王海兵发表了题为“GeekPwn黑客眼中的AI安全”的主题演讲。

    AI时代我们真的安全吗?

    人工智能被应用于各个垂直领域,为各个行业的发展带来了新的契机。人工智能驱动社会发生变革的同时,也令人对其强大的数据算法感到好奇。

    AI产品是否存在被攻击的可能性?对此,王海兵给出了肯定回答。王海兵认为,AI应用系统是一个整体,任何环节出现漏洞,都有可能出现安全问题。以极棒实验室研究的攻击人脸识别系统为例,使用传统的攻击方法,如攻击者通过侵入并控制该系统管理端,利用其操作系统漏洞和应用层逻辑漏洞等,最终都可攻破系统,用任意人脸通过门禁。

    同时,王海兵提出,AI的基础系统,包括各种库,框架,云服务等,都有存在漏洞的可能性。目前也确实有不少AI基础系统中的安全漏洞已经被发现。这些漏洞的类型有:缓冲区溢出、整型数溢出、运算精度降低和通讯未加密等。

    这些漏洞被利用之后可能导致AI的错误决策判断,及AI系统被控制。

(Ian Goodfellow)

    此外,AI算法也可能被攻击,比如对抗样本攻击。王海兵表示,对原始图像添加精心构造的细微干扰之后,虽然人眼并不能分辨区别,但现在的人工神经网络会识别错误。这种干扰之后的图像被称为对抗样本。对抗样本甚至能够在物理世界产生影响。2016年10月24日,在GeekPwn嘉年华硅谷站现场,生成对抗网络(GANs)之父Ian Goodfellow就展示了这样的效果。这种问题对自动驾驶系统等AI应用有很大的安全影响。

    白帽黑客是AI时代的安全守护者

    AI时代,AI的应用领域不断扩展到我们生活的方方面面。AI系统被攻击的后果也越来越严重。除了和传统的信息系统被攻击产生的类似后果,比如信息泄露,系统被控制,远程代码执行这些后果,AI系统被攻击还会导致AI决策判断错误。在系统高度依赖AI决策判断的情况下,后果相当严重。比如自动驾驶系统,错误的判断可能会立即导致车毁人亡的悲剧。面对穿梭于无形中的黑客,AI时代的安全守卫者—白帽黑客责任重大。

    王海兵提出,正义的白帽黑客们往往要让自己像破坏者黑客一样思考,寻找系统的安全漏洞。“白帽黑客最重要的课题是寻找AI潜藏的风险并不断帮助其完善,最终实现人工智能安全健康成长。”

    GeekPwn愿意成为安全界与AI界的桥梁

    在AI和安全界之间也存在沟通鸿沟问题,不过GeekPwn(极棒)黑客大赛正在成为二者之间的沟通桥梁。

    作为全球最大关注智能生活的黑客大赛,GeekPwn(极棒)自2014年创办以来已成功举办5届。来自全球的顶尖黑客在极棒的舞台上挑战了包括智能摄像头路由器等在内的智能领域漏洞,覆盖智能出行,智能家居、智能手机、智能手表等几乎智能生活的所有领域,帮助厂商修复数百严重安全漏洞。

    2017年,GeekPwn(极棒)将人工智能安全挑战赛列为全年重点项目。以500万奖金池启动人工智能安全挑战赛,正式向全球顶尖黑客们发出邀请,鼓励极客从对抗的思路出发,协助AI进行安全性的预演分析。从而寻找AI潜藏的风险并不断帮助其完善,帮助人工智能安全健康成长。

    作为全球首个探索人工智能与专业安全的前沿平台, GeekPwn(极棒)在聚焦于智能设备领域同时,关注并大规模探讨人工智能的安全问题,通过不断发掘脑洞大开的安全人才,在科技企业与高素质的安全人才之间搭起桥梁,积极助力构建智能安全生态。

    “人工智能的安全博弈是一场无硝烟之战,白帽黑客在这场战役上任重而道远。”

标签:极棒实验室

用户名:  密码:  没有注册?
网友评论:(请各位网友遵纪守法并注意语言文明,评论仅供参考不代表本站立场)