首页 视界 产业 国际 零售 会展 金融 网贷 物流 快递 |  设为首页
您的位置:首页 / 网络金融
百度安全亮相Black Hat?Asia?2019,展示目前黑盒模型攻击技术
时间:2019年04月11日
作者:
来源:

      近年来,业内针对迁移学习展开广泛的算法研究和实践,在迁移学习放宽了机器学习两大基本条件、将大数据模型迁移到小数据、个性化数据模型的训练过程中,从安全视角,并非无懈可击。例如,迁移学习这种训练方法的高效性,来自于特征提取层的架构和参数被重复利用,同时在迁移学习过程中保持特征值和架构不变。正因如此,模型所使用的特征提取层可以通过一定的攻击手段推算出来。百度安全研究员提出的“指纹攻击”就是用于推算黑盒模型使用的特征提取层的有效方法——通过对深度学习模型的特征提取层中的最后一层的神经元的离散值的最小化,从而使得目标分类的置信度降低,通过搜集的14个不同的公开模型
在3月26日-29日于新加坡召开的Black Hat Asia 2019上,来自百度安全对于深度神经网络(DNN)模型算法安全性、Rowhammer新型攻击方法、Meltdown新变种等三大创新性研究报告成功入选。其中,在The Cost of Learning from the Best: How Prior Knowledge Weakens the Security of Deep Neural Networks的议题中,百度安全研究员们分享了在AI时代下机器学习算法安全领域的最新研究与实践。百度安全希望通过这个研究呼吁业内更加迫切的将人工智能模型算法的安全问题纳入研究范畴,携手工业界、学术界共同探索与建设安全的AI时代。
深度学习模型容易受到对抗样本的攻击,这在业内已不是新鲜事。对图像数据叠加人类难以通过感官辨识到的细微扰动,就可以“欺骗”模型,指鹿为马,甚至无中生有。业内将这种影响AI决策边界的细微扰动称之为“对抗样本”(Adversarial Example Attack),攻击者往往提前知晓模型的架构、参数,既而利用特定算法针对性的生成“对抗样本”,诱导模型做出错误的、甚至攻击者预设的判别结果。此乃深度学习模型的“白盒攻击“,若应用到人脸识别、语音识别、无人驾驶等领域,不仅会导致严重的安全事故,也会破坏整个人工智能生态应用的进程与基本信任。
然而,百度安全在Black Hat Asia 2019上带来的最新研究成果表明:黑盒模型制造的只是虚假的安全感,当模型架构和参数不可知的情况下,攻击者依然有机会实施对深度学习模型的欺骗。报告中Zhenyu Zhong、Yunhan Jia博士展示了百度安全目前已实现的黑盒模型多种攻击技术,并创新性的提出了“指纹攻击“(Fingerprinting attack)——即根据极少的请求结果推测出模型的结构,既而针对性的构造对抗样本。

百度安全研究员们设置了条件充足、非充足的两个黑盒攻击场景,同时结合两种不同的攻击手段——非定向攻击(Dispersion attack)、定向攻击(Target Score attack)进行比较,现场展示了指纹攻击的实验结果。如图1所示,在攻击者条件充足的情况下,攻击的绕过率分别高达86%(非定向)和65%(定向),而在条件不充足(比如仅支持2次请求)的情况下,攻击的绕过率也可以达到33%(非定向)和16%(定向)。这个实验结果表明,深度学习模型的“黑盒保护”看似安全,但是现实中还是存在弱点,而且在高效的攻击手段面前,这个弱点还很严重。
与会,百度安全研究员介绍了百度安全针对对抗样本的解决思路,以及通过对抗训练强化模型提高深度学习模型鲁棒性的途径。百度安全针对人工智能算法安全性的研究,包括深度学习模型鲁棒性测试、形式化验证、机器识别恶意样本实时监测、黑白盒攻防等领域。此外,百度安全始终倡导通过新一代技术研发与开源,实现对安全问题的快速响应与对抗,百度安全实验室AdvBox对抗样本工具包针对AI算法模型提供安全性研究和解决方案,目前已应用于百度深度学习开源平台PaddlePaddle及当下主流深度学习平台,可高效地使用最新的生成方法构造对抗样本数据集用于对抗样本的特征统计、攻击全新的AI应用,加固业务AI模型,为模型安全性研究和应用提供重要的支持。

0
[查看全部]0条评论)请遵守国家新闻相关法规,文明上网评论!
    
验证码:    
产业动态换一换
阿里巴巴持续孵化新消费增长点

      从让天下没有难做的生意到实现零售数字化时代,表明阿里经济体不仅具备了较强的造风能力,诸如在云计算、新零...[详细]

04月22日
1
金地集团子公司安全亮红灯 一季度发生两起死亡事故

中国经济网北京4月19日讯 (记者 张海蛟) 近日,北京市住房和城乡建设委员会网站发布行政处罚决定书显示,北京金地格林物业管理有限公司(以下简称...[详细]

04月20日
1
DeltaGrad领跑智能化交易领域 预见收益颠覆基金行业

4月19日电 4月18日DeltaGrad媒体见面会于北京众海投资加速器举行,对外宣布DeltaGrad历经数年技术积淀,将于2019年正式开始对外商业化运作,专注...[详细]

04月20日
1
瑞幸获1.5亿美元融资 持续扩张或为上市铺路

      4月18日,瑞幸咖啡在2018年12月宣布的B轮2亿美元融资基础上,额外获得共计1.5亿美元的新投资。其中,贝莱德所...[详细]

04月19日
1
经济效益保持较高增速央企首季“开门红”

      今年一季度,央企坚持市场化改革和高水平开放,持续推动高质量发展,不断加快创新发展和转型升级步伐。 ...[详细]

04月18日
1
邮储银行深耕汽车金融 助力百姓美好生活

4月17日电 16日,中国邮政储蓄银行(下称“邮储银行”)联合搜狐网在上海车展期间开展主题活动,通过线上线下多种传播渠道,展示汽车金融产业链业务...[详细]

04月17日
1
热点专题换一换
市场调查换一换
电商品牌换一换
金融科技换一换

中国电商金融网版权所有违者必究,所涉内容滋免责声明以澄清敬请查阅

CopyRight @ 2007-2019 京ICP备17045659

中国电商金融网千万网商的新闻资讯平台