时讯:一场猎杀AI的残酷游戏：把枪口对准人工智能，是为了吓退黑暗丛林中的对

本篇文章8245字，读完约21分钟

原创中浅黑科技浅黑科技是话题#秘密往事56#史上精选52浅友们好~我在史上，我的日常生活是搅动五湖四海的科技大牛，我尝试各种姿势，让你听听他们无缘的脑洞和温情故事。 如果你特别想听某人的话，请加上微信(微信号: shizhongmax )告诉我 猎杀ai的残酷游戏:枪口对准人工智能是为了吓唬黑暗丛林的对手文|史上是鸡汤中，让你变强是内心的peace&； love 在现实中，让你变强永远是对方的拳头。 (1)人工智能似乎林妹的自然只有两种方案:我吃大家，被大家吃 于是在漫长的进化中，动物们学会了欺诈 从亚马逊丛林昆虫到高楼人，或多或少都掌握了这种艺能 连人工智能都逃不出这个江湖 在科幻电影《2001年太空漫步中》中，一台叫hal9000的中央控制电脑撒谎，学会了几乎歼灭宇宙飞船上的宇航员，让很多观众毛骨悚然。 但讽刺的是，现在的现实人工智能像科幻电影一样没有竞争力——不仅上街撒谎，反而找不到北 如果你不相信，就和人工智能一起玩游戏吧 这是什么？ 对，你觉得是河豚吗？ 人工智能也可以评价为河豚，自信度为96.93% 这是什么？ 是的，是雪山 人工智能也答对了。 自信度为94.56% 其次我们会增加一些难度。 这是什么？ 你不觉得这是刚才的两张图吗？ ？ 你在开玩笑吗？ 但是，问题来了 这次人工智能和意见产生了分歧 人工智能评价说“改变了主意”。 两张图分别是狗和螃蟹，而且很牢固，有99.99%的自信 这是为什么呢？事件的真相是，黑客在原始照片上叠加了肉眼难以分辨的“噪音”，打乱了人工智能san的值，称鹿为马 看，人工智能这个商品是比你想象的弱的鸡吗？ 当然学术界没有使用虎狼的语言“弱鸡”，我们称之为“稳健性”差 稳健是音译词，英语被称为robust，稳健性也被翻译成坚韧性，是指在系统困难的环境下不掉链的能力 鲁棒性差的是人工智能的“阿喀琉斯脚后跟” 这是个坏消息。 黑客有人工智能把雪山识别为狗的方法，所以可能有人工智能把路人甲误认为你，洗脸登录app，花账户钱的方法。 更坏的消息是，在这个世界上，被人工智能保护的大门更多。 你每天解锁手机依靠面部识别系统，呼叫电话头上坐着机器人妹妹，汽车可以用芯片中的算法上街，银行决定依靠ai遥控引擎出钱的金额，工业零部件需要ai视觉检查的质量 但是，任何人工智能系统如果被黑客入侵，都会带来意想不到的酸果。 结果是哪个企业的人工智能系统担负着重大的任务他们特别担心人工智能的鲁棒性有问题。 就像你的上司害怕猝死一样。 在中国，在最希望人工智能不掉链的企业名单中，阿里巴巴一定名列前茅 阿里巴巴有人工智能吗？ 不仅有，还有很多 其实，老浅友知道，从“商品假期”到“好东西推荐”，从“智能呼叫”到“计划路线”，从“自动运输维度”到“视频混合切割”，蚂蚁这种巨大机器的日常运行已经被人工智能所继承 但是很多智能系统脾气很低，我们只是感觉不到。 (我用另一个文案详细讲述了三个淘宝人工智能的故事，可以去看。 于是，看到人工智能像林妹一样身体轻盈柔软，蚂蚁技术宅早就坐不住了，他们决定闹事 (二)人工智能成为孙二娘讲故事之前，请先问我们的老朋友钱磊 钱磊是蚂蚁安全的首席设计师，他和同事们组成凶猛的国防军，用代码和数据保护阿里巴巴这个万亿经济和经过其中的无数商户和客户，打击假货，保护数据，用手阻止刷客，用手防止羊毛党，就像千 (强烈建议复习，了解蚂蚁安全的荣耀和梦想)钱磊金磊告诉了我“内幕消息”。 对人工智能算法来说，最害怕的是“供应链攻击”。 什么是供应链攻击？ 让我举个例子 我去酒店点菜。 菜单是全部的。 川菜鲁菜淮扬菜一应俱全，原料只是像鸡鸭鱼猪牛羊那样的几种。 鸡鸭鱼猪羊肉是烹饪的供应链 如果有想往菜里下毒的杀手，他甚至不需要进酒店，只要找到往生肉里下毒的机会就行了 这是供应链攻击。 是你的产品。 同样，人工智能的应用看起来千变万化，但其中采用的核心算法种类很少——最常用的数量数起来就是其中的几种，而且这些算法还在公开，每个人都可以研究 这是因为坏人试图攻击重要的人工智能系统不是冒着危险直接在这个系统里找洞，而是在家喝可乐一边吃薯片一边慢慢研究系统的中心算法，找到致命的洞就成功了 这就是人工智能算法的供应链攻击。 这种情况对蚂蚁来说有点尴尬——对方在家每天对着沙袋练习拳头，打你，研究每天进步一点的方法。 你就像在雾中看花一样，我知道有人暗中要做你，但你甚至不知道他在哪里，拳法练习了什么段位 与其害怕等待，不如勇敢面对 钱磊等人不仅自己日常研究人工智能的安全性，还邀请世界豪杰以各种姿势锤子人工智能系统，积极发现这些脆弱性的可能性，在逆境中成长ai，从胆小鬼林妹变成剁馅的孙二娘“赏金科 这次比赛的题目是“安全ai挑战者计划” 观察表明，这不是直接攻击阿里巴巴的系统 1、阿里巴巴的系统承担着十几亿人日常服务的重要功能，是重要的基础设施，攻击当然不行。 2、阿里巴巴的实战防护系统已经加上最强的buff，是现有的装甲，通常导弹真的打不过它 因此，《安全ai挑战者计划》采用了折中的方法，即基于通用算法以一个(简化版) ai系统为挑战对象，像训练飞行员的模拟驾驶室。 这场比赛堪比美剧，还持续着四季，到去年10月为止是第五期。 这五期的挑战主题各不相同，包括面部识别对抗算法、imagenet图像分类对抗算法、侮辱本识别算法、通用目标检测的对抗攻击算法、证书文件图像伪造检测算法 薛晖是蚂蚁安全图灵实验室的负责人，他的日常带着大牛专门研究人工智能应用的安全性，这次他也顺理成章地接待了第一期比赛的出题者。 薛晖给我画了面部识别攻防战的刀光剑影。 比赛的必要性:战场、球队、规则战场:他们从公开数据集lfw(labeled faces in the wild )中选择了712张面部照片，根据业界流行的算法模拟了面部识别系统 团队:参加的团队负责这些照片的“魔改”，目标是突破算法，让面部识别系统产生错误，像破门的足球前锋一样。 规则: 1、变更后的图像必须看起来和以前差不多(各像素的变更程度必须在限制值内)。 2 .人工智能的认识错误视为攻击成功。 在攻击成功的前提下，对原图的变更越少，攻击方的得分越高 因此，选手们要做的事很简单。 在网上提交答案，看谁的分数最好，直到比赛结束。 杀死人工智能的行动听起来很华丽，但实际操作很无聊 作为旁观者，我们看到一群技术怪胎把参数调整成冗长复杂的公式，每次参数稍微改变，结果都可以微妙地变化。 这个过程类似于《我和你的祖国( MyPeople，MyCountry)』 )》的少年拿着天线寻找电视信号的过程:前一步很模糊，后一步很清楚 这次比赛的冠军队叫firefly，给你一张让你感受到他们攻击效果的照片。 但是薛晖提醒我，这其实是简化版的面部识别系统。 在现实世界中，面部识别系统通常不是对照两张照片，而是对照你的真实面部和照片，从而增加攻击的难度。 理由很简单。 在虚拟世界中，可以自由地拍摄ps的脸部照片。 但是在物理世界，在照相机前你不能ps你的脸。 (此外，还受到光等环境噪声的影响 但是，这无法阻止全世界的研究者在设计上杀死面部识别系统的冲动，这几年，很多猛者开始用自己的面部做“物理ps” 例如，据说下一个老哥哥可以用图腾填补自己的脸，使一部分脸识别系统无法检测出脸。 年，华为的研究小组也发表了论文，在额头贴上虹糖一样的贴纸，无法让人工智能认识自己 客观地说，这些攻击方法现在受到现场光线、面部立场的影响，失败的概率很高 但是，这种可能性会给普通人带来真正的恐慌。 你可能还记得有名的杀害北大母亲事件的犯人吴谢宇 他逃亡多年后精神有点松懈，在机场送人时被监视探头的脸识别而被捕 想象一下。 如果坏人能用大脑贴纸消失在照相机里，那将成为他的“隐藏符号”，对社会主义社会安全事业产生巨大的技术冲击。 当然，现有的攻击做法确实有点粗糙。 我想不管去哪里，额头都贴上大纸，警察叔叔会直接来解释的。 但是别忘了，在远处黑暗的森林里，坏人对着沙袋练习拳头，可能会制造比任何时候都隐蔽稳定的攻击技术。 这种攻击一旦成熟，就不是钱的事，而是有可能直接结束产业 我们的正义力量决不可大意 薛晖说 这是第一届选手获奖。 第一名奖金是30000元。 (3)人工智能比赛的运营负责人花娟告诉我，虽然第一场比赛表现低迷，但意外地被很多行业的大咖啡赞不绝口。 来自清华大学的朱军教授是当时网络比赛的评委 答辩时，他非常认真地听每一个选手的技术细节 看到人工智能领袖这么感兴趣，蚂蚁安全的同学们很自信，花姝渴望去清华找到朱军，邀请清华和阿里巴巴，共同举办下一场比赛。 有清华的支持，安全ai挑战者计划不再低调，实力不允许 这是比赛的奖杯。 花娟说，每个重量十几斤，日常练习举重打钉子也可以。 非常划算。 第二期比赛的主题是:分类比赛 其实所有特工的“标配”能力都是分类。 每个人出生后都要学会辨别花鸟鱼虫，决不对着父亲叫第二个阿姨 人工智能也是如此——20世纪50年代，人工智能的前辈罗森伯格将50台电脑连接到神经网络上，让机械学会区分了“左箭头”和“右箭头”。 这是ai的第一个分类能力。 现在，随着大数据的增加，人工智能的分类能力至今没有，年甚至可以看到医学图像，调查疑似新冠引起肺炎的病例。 这次比赛看这个，攻击者干扰1216张照片，看谁人工智能的“指鹿指马”错误最多 具体的调参过程依然无聊，这里不展示 请给我看看上位的队伍。 他们生成的对抗图像大致就是这样。 对抗图像来自green arrow团队，说到这里，有个有趣的故事。 在分类挑战中，根据学术界的惯例，参加队的剑在前线移动，而不是用算法生成图像。 事件是偶然的尝试，发现豹纹直接叠加在所有图像上，对分类系统的正确性产生很大的干扰。 他们得到了至宝，又改进了这种对抗方法，把“豹纹”变成了“眩晕八卦图”，把八卦叠在各照片上，提高了效果。 但是，这种对抗方法之所以在比赛中取得好成绩还是因为出题者为了降低难度而简化了分类系统 用这种方法攻击更强大的实际系统很可能不会成功 但这一操作为研究者提供了良好的思考方向:今天的人工智能算法中可能还存在青铜果实看起来像王者的“通杀”攻击模式 第三场比赛是“辱骂复制挑战” 谁也不知道骂“键盘侠式” 许多复制平台都有弹幕和消息过滤系统。 人工智能自动评价和阻止一些话是坏话。 在这次挑战中，攻击者的目标是以各种方式创建出题人的谩骂句，达到谩骂的效果，避免被系统监听。 下一个例子，很少有机会光明正大地骂人，经常骂人，拿到奖金，机会是真实的。 于是，你看到了如下认真的学术切磋目的辛辣眼睛的花式骂声 然后选手总结了完美的进攻经验 鸡能扩大第四届比赛的是“共同目标检测的对抗攻击算法挑战” 目标检测系统的日常任务是找到一张图像中指定的东西。 这就像一个考验你眼睛的游戏。 例如，请在下图中找到那只熊猫 下一个例子是人工智能从图像中找到牛 如果在图像上重叠这样细致的颜色条，则有可能欺骗目标检测算法 其次，是迄今为止难度最高的第五届比赛 第五期的主题可以说意外且有道理。 那是“反对伪造证书文件图像”。 那个出题人是蚂蚁安全的另一个高手渡明 渡明这个主题不是他拍脑袋想的 渡明是一直走在技术前沿的男人，他的研究防线是数字版权保护和复制防伪 近年来，随着数字基础架构的迅速发展，许多本来只能在网上完成的业务(例如素质审查、社会保险查询)都移动到了网上。 这意味着原本需要手工检查的证明书，现在在网上提交照片就可以了。 虽然给很多人带来了方便，但也有人试图用伪造的证书照片做坏事 因此，证书图像识别系统的任务是移动人眼识别“曾经被ps过”的图像。 伪造图像的事，我想你早就听说了。 现在不仅是图像，视频也可以成为ps 例如，普通人不明，老司机调用内行的deepfake软件，就可以随意把身体的脸变成奇怪的视频。 左边是真实视频，右边是假阴影 不是独一无二的。 头两年，adobe推出了视频ps软件cloak。 一个视频里的两个人可以凭空消失，看起来没有痕迹。 ps的价格越来越低，普通人也容易解决，这不利于社会和谐 面对这种情况，fackbook、amazon、microsoft等中小企业也很淡定，年还举办了dfdc这个挑战，请演员表演视频剪辑，用deepfake生成假视频，让挑战者了解真伪。 蚂蚁安全ai挑战者计划第5期也是同样的原理，只是把主题变成了伪造证书 比赛的规则是来源。 指定证书的照片，显示几个编辑区域。 选手把它做成p图，欺骗肉眼和机器两个审查的情况下，区域以外的地方的变更越少，区域以内的地方的变更越多得分越高。 渡明给我看了一些选手的攻击样品。 如果我不告诉你，我想你不太容易知道这些证书是伪造的。 这是如果哥哥对自己作伪证:达赖喇嘛道长兼神父，在网上骗人好吗？ 人工智能是指在这样越来越困难的情况下帮助人们保护安全的基础 第五期比赛的复印件介绍到此。 主题各不相同，但其背后有明确的主线。 那就是比赛有点接近现实世界。 在第一期比赛中，面部识别的照片选择了公开数据集。 我觉得那都是外国人的脸。 在第五场比赛中，证书上的照片已经是真实数据 (当然，为了合规和安全，渡明团队用脱敏打代码解决了这些证书的重要部分。 )人人都知道接近真相的比赛更刺激，也关系到ai安全技术的进步 但这对阿里巴巴来说其实是个矛盾。 这其中有两个原因: 1、问题的防御算法过于接近阿里巴巴的真实防御算法，可能会暴露很多消息，相当于公布自家门锁的结构，降低阿里巴巴的安全防护水位。 2、问题数据集直接采用真实数据会有隐私问题，因此必须慎重脱敏地解决数据 除非确定降低阿里巴巴防护的水位，否则其他的尽量开放，除非阿里巴巴客户的隐私泄露。 虽然这个平衡很难，但我们一定会尽力的。 钱磊很诚实 ai技术在实际安全场景中受到更深的训练 (四)代码大移动在钱磊眼里，我们的世界正在经历破裂安静的“代码大移动” 以阿里巴巴为例，我们的业务跑着各种各样的代码 现在这些代码中99%可能是工程代码，但只有1%是人工智能算法代码。 与此相对，我们现在面临的安全威胁也有99%是工程上的问题，只有1%是算法上的问题 但是，我们的代码表明算法的比重与日俱增，算法的安全威胁也在上升 这个移动的过程是坚决的，谁也逃不掉 他说。 故事到此为止，你一定笑不出来，我们讨论的其实是巨大而严肃的命题。 人工智能是我们世界的砖和基础，如果砖本身有裂缝，会造成怎样的可怕灾害呢？ 如果放任自流，总有一天人类文明大楼的一角会轰鸣 捏一把汗，人工智能的安全问题广泛而困难，不是几个企业和几场比赛都能一次处理好的。 保护一个国家最有效的方法是让充满热血的科学家们研究“导弹防御系统”。 为了保护人工智能的国家，需要面向后续的技术住宅，在漫长的岁月里共同建设巨大而复杂的“人工智能导弹防御系统” 在薛晖这个老司机看来，要建设“人工智能导弹防御系统”，必须处理至少四个巨大的问题:第一、ai防御系统的数据不平衡 我们的世界已经进入了数据时代 结论简单残酷:谁掌握的数据多，谁能训练更智能的系统，谁能比对方更控制局面 (可供参考)但在ai安全战场上，我明敌黑暗——在日常场景中，提交的10万份证书中可能只有一份是假的。 正义一方能得到的攻击样本非常少。 攻击者每天都可以堂堂正正地测试这些大企业的系统 阿里巴巴举办ai挑战的目的之一是让大家制作攻击样本的数据 这对训练人工智能的防御能力很重要 第二，ai防御系统迁移能力差 众所周知，选手都有专业分工。 踢足球的选手只能踢足球。 打篮球的选手只能打篮球。。 让乔丹和张怡宁打乒乓球，一定会受到虐待。 人工智能系统也有分工，而且分工非常细致，隔行扫描似乎隔山 例如“图像鉴黄”的算法很可能被用于鉴定电子商务的违规图像，用于鉴定直播的不良图像很难使用，也很难用于鉴定短片的视频 即使想让电商鉴黄系统学习直播鉴黄，也不是完全没办法，但需要将稍微直播的视频数据“补习”到系统中，这就是迁移学习。 但遗憾的是，在人类现在的技术水平上，在安全ai方面迁移学习的技术还不成熟 这对学术研究者来说是不太容易的命题需要给大牛们越来越多的时间 第三，ai防御系统的价格很高 安全系统对价格最敏感。 比如，你知道。 这几年，全国地铁纷纷增加了安全系统 检查身体需要3秒钟，增加的价格就可以勉强接受。 检查一个身体需要15秒的话，早上高峰期大家就可以排队排到两里地了。 几次航班？ 本质上，安全系统的设计理念是必须假设全员都是“可疑者”，因为既然要检查，就必须无差别地来全体人员。 由此，即使一次检查消耗的资源少，乘以巨大的总数后，消耗的资源总量也很可怕 今天，许多ai安全算法实际上非常有效，但由于过度消耗资源而无法实战 为了使这些算法发挥作用，从体系结构到算法都需要全面优化，将来很可能出现为了加速安全系统而特别设计的人工智能芯片 包括阿里巴巴平头哥哥的光在内的800芯片是一个体工智能芯片。 第四，ai安全系统无法解释 人工智能是人类自己制造的，但可悲的是人类不一定理解人工智能在想什么 这种事件并不奇怪 想想你家的孩子。 是你出生的，你知道ta整天脑子里在想什么吗？ 理解本来是一件困难而离不开的事件 在现状下，ai有助于得出人类的结论 但是，不能向人类解释它得出结论的理由 这种不可解释性本质上是ai的许多复杂决策 一个ai系统，一运动就连接几十台100台服务器思考，计算空间大，卷入的参数多，比不上人脑 对不起，人类面对ai，就像西伯利亚哈斯基面对人类一样，竭尽全力也只能理解高级生物的一句话。 因为智商是硬伤。 但问题来了: ai安全系统相当于保安，保安说想偷东西就抓住了身体 我们当然对警长说:“你为什么说他想偷？ ”。 警长说:“说明不清楚，反正我知道他想偷，你抓住他吧。 (人的生命挂在天上，你从天上坠落的时候，为什么你还不能理解ai一定会支持你？ 以上很多问题不得不说，既有已经有处理思路的人，也有没有线索的人。 由此可见，“人工智能导弹防御系统”的建设任重而道远 钱磊以人工智能安全系统和建筑工程安全规范为对象:在建筑工程领域，制造成本标准、材料标准、结构标准各材料共1米高 这是因为人类已经盖了好几万年房子，可以沉淀这么多经验。 但是，软件领域离诞生只有几十年，只有这几年开始沉淀软件开发的安全标准 关于软件行业最新的分支人工智能，现在连一页的安全标准都没有 既然人工智能安全没有统一标准，就有人总是迈出长征的第一步 “我们想沉淀一些东西，为这个世界的未来做一点贡献 ”钱磊说 (五)黑暗中的眼睛机器人世界就像一片黑暗的森林，你有时只能听到远处野兽的低沉声音。 最近，蚂蚁安全支援相关部门打掉羊毛专用的黑产集团时，他们听说在对方队伍中找到了专业的算法工程师。 要知道优秀的算法工程师是年薪百万人，他选择加入犯罪组织一定是因为比那个挣得多 这里还有一个事实:设在美国国防部的高级研究计划局darpa负责使尖端技术的脑洞成为现实，计算机操作系统、隐形飞机、无人机、自动驾驶技术的提出和迅速发展与他们有关 令人吃惊的是，2021年度，darpa有35亿6600万美元的经费，他们现在研究的项目大多与人工智能的攻防有关 (对darpa有参考价值)这张图是年darpa组织人工智能的攻防对抗战cgc 我们不知道黑暗森林里有谁 我们也不知道黑暗中的人想要什么 有诗赞说:“钱一响，自由一文不值。” 强权主张，钱就像寒蝉一样 但是历史反复告诉了我们真理:弱者吵闹，把和平送到对方的同情中。 强者默默地获得和平的钢枪 ai安全体系的建立是一场旷日持久的战争，是属于无数梦想家的光荣远征 这个安全ai挑战可能是为了在人海茫茫中找到这些伙伴 真正改变时代的人可能还在襁褓中，但梦中人的一切相互探索，都是有意义的 让我再自我介绍一次 我是历史上喜欢故事的科技记者。 我的日常和各路大神聊天。 如果你想和我交朋友，可以搜索微信。 石中马弱者的和平是对方怜悯的强烈和平。 到手的钢枪喜欢这个复印件的人喜欢原来的标题。 “猎杀ai的残酷游戏:是为了把枪口对准人工智能，吓唬黑暗丛林中的对手”原文 [/h]。

来源：人民视窗网