频频犯错的无人车可能缺了一个“域适应”

即将在6月举行的CVPR 2019,是机器视觉方向最重要的学术会议。评选结果已经宣布,今年论文量增加了56%,与无人驾驶相关的论文和项目也是扎堆亮相。其中的一大亮点,就是以自动驾驶视觉为核心的CVPR WAD 挑战赛。

在确保模型可以对目标域进行学习之后,就需要解决域适应学习有效性的问题了。

一是域之间的迁移效果不稳定。如果训练集和测试集分布一致,则模型的迁移效果较好。如果分布不一致,在源域过拟合,目标域上则表现并不让人满意。

在域自适应学习中,训练样本和测试样本之间的分布不一致,因此导致源域上训练的模型往往不适用于目标域的学习。而域自适应学习的鲁棒性则能够度量算法对训练样本改变的敏感程度,从而克服目标域泛化误差界的“扰动”。简单来说域自适应学习模型就是一枚“暖男”,对误差的包容性更强。

归根结底,“域自适应”方法不仅降低了训练风险,也有效地提升了系统的学习性能。从这个角度想,就更期待在CVPR 2019挑战赛中见到新的黑马了!

正如阿什卡纳尼所期待的,促进经济多元化、大力发展农业、重视环境保护,是卡塔尔长期经济发展战略的重要组成部分。

当然,想要让“域适应”帮助无人车更有效的训练,只靠伯克利和滴滴在CVPR 2019中释放的数据集或某一场比赛还远远不够,还要为研究者提供更多元的支持,比如增强研究团队与车企的联系,围绕真实需求进行配套研发等等。

目前看来,域自适应性学习也是完成无人驾驶视觉任务成本效益较高的方式。

那么,到底什么是域自适应学习?

如何尽可能地复用它在源域数据集中得到的先验知识,尽可能准确地对目标域物体实现检测、跟踪等学习任务,就成为无人车模型要面临的一大问题。

一是多种源域数据本身之间具有偏差,比如伯克利的数据集BDD100K覆盖了不同的时间、光照、天气和地理位置,甚至包含了GPS和IMU以及对应的时间戳信息;

卡塔尔展馆筹委会副主席法伊卡·阿卜杜拉·阿什卡纳尼介绍说,北京世园会卡塔尔展馆占地面积2100平方米,设计理念体现卡塔尔的历史传承。展馆布置以5棵卡塔尔标志性的锡德拉树为主,这一沙漠树种是卡塔尔人先辈们在炎热的沙漠中赖以避暑的生命之树。

3.多源域数据迁移算法。

一是源域(source domain)表示与测试样本不同的领域,但是有丰富的标注数据。比如伯克利和滴滴的驾驶视频数据集BDD100K,以及D-City。

2019年中国北京世界园艺博览会开幕在即。卡塔尔以其富有地方特色的展馆向参观者们展示卡塔尔的历史和未来。同时,这个属于热带沙漠气候的国家,也期待着通过北京世园会了解并学习农业领域的先进技术。

二是有限的变化性。通过标注好的训练数据集所学会的策略,往往只能应对特定的环境和物理系统。而真实的世界常常会遇到动态变化,比如异常光线、特殊气候现象等等,这些都会改变域属性并让无人车不知所措。

2011年6月12日,小牛队击败热火队夺冠后,诺维茨基举起总决赛MVP奖杯。诺天王的NBA生涯既有常规赛MVP奖杯又有总决赛最有价值球员奖,堪称国际球员第一人。之后的小牛队开始逐渐走下坡路,步入重建的小牛队在自由市场屡屡失意,一度错失自由市场的大牌球星,之后的小牛队改名独行侠,但改名之后的独行侠还是不见起色,眼看诺维斯基就要遗憾的离开联盟,谁也没想到独行侠在诺天王最后一个赛季突然来了灵光,选秀市场独行侠得到了探花秀卢卡-东契奇,这个年轻的斯洛文尼亚小伙刚进联盟,就展现出与年龄不符的全面和成熟,第一个赛季就场均21.2分、7.8个篮板、6次助攻,完美的接棒诺维斯基,独行侠一下看到了崛起的希望,也许这就是天意,老天都不想诺天王遗憾退役。

按照设计,这5棵树上均建有顶棚,树梢部分透过顶棚直插天空,形成5个由树梢组成的绿色公园和5个地面部分的树干公园,别具特色。

说了这么多,不难看出域自适应性学习本质上和人类的学习模式极为相似:在课堂上学习前人总结好的科学知识,然后在与现实的交流过程中不断扩充新的知识并进行探索,完成对复杂事物的认知,从而达到自主学习、适应新科目的目的。

既然“域适应”对于无人驾驶来说如此重要,那么目前究竟有哪些比较值得一览的算法呢?

诺维斯基的恩师唐·尼尔森的老辣与英明在获取诺维斯基的交易中表露无遗。1998年的6月24日,当年度NBA选秀大会当天,唐·尼尔森用罗伯特·特雷勒从雄鹿队换到了德克·诺维茨基。但这并不是交易的全部,事实上,雄鹿队与此同时还送出了他们用第十九号签选中的白人大前锋帕特·加里蒂,老尼尔森旋即再将加里蒂换去菲尼克斯,史蒂夫·纳什在同一天转战达拉斯-以一个首轮第六顺位签为代价,小牛队几乎空手套白狼得到了诺维茨基和纳什两位伟大球员。

这往往依赖于有效的源域和目标域的概率分布判断也就是最考验机器智商的一致性分析。使用尽可能少的样本数,实现最小的误差上界。好的域自适应性学习算法是不允许“偏科”的,泛化能力得非常强才行。

诺维斯基荣誉数不胜数,生涯后期一度降薪再降薪就为了球队能省出空间签约球员,诺维斯基对球队做到了能做的一切,同样,球队老板库班为诺维斯基也给了能给的一切,两人的情感胜似亲兄弟。21个春秋,太多的喜怒哀乐,巨星老去,往事却历历在目,让我们一起回味诺天王和NBA、和小牛队、和独行侠的前缘。

二是多种源域数据间类别存在偏差。比如滴滴D-City数据集中,将注释了包围框和跟踪ID的道路对象分为12个不同的类别,而伯克利的数据集BDD100K中的GT框标签则只有10个类别。

然而作为一个难以被NBA彻底了解的对象,舆论对诺维茨基抱持着褒贬不一的态度。喜欢他的人,认为以他的身高条件能拥有此等协调性、投篮能力和持球能力,在过往NBA历史上都罕有匹敌者;贬斥他的人则最喜欢使出一招撒手锏,他那小胳膊小腿,在肌肉硬汉们面前不会被彻底拆掉吗?被怀疑并不可怕,重要的是还有人相信你,最看好诺维茨基的人有两个,其一是里克·皮蒂诺,其二是唐·尼尔森。作为蜚声大学的名帅和当时凯尔特人队的主帅,皮蒂诺将诺维茨基视作新时代的拉里·伯德,在当年选秀大会上握有第十顺位的他,信心满满地要将诺维茨基纳入自己帐下,虽然老尼尔森的小牛队拥有6号签,但在皮蒂诺看来,对方带走诺维茨基的决心并没有他那么强烈—果然,小牛队在第六顺位选中了绰号“拖拉机”的NCAA名将罗伯特·特雷勒。皮蒂诺长出一口气,仿佛已经看到了诺维茨基身穿绿色战袍的的样子。

论自动驾驶的倒掉与重生

在解释“域适应”之前,有必要先搞清楚,现在的自动驾驶技术都在头痛哪些问题。

具体的做法是,利用共享特征网络,对所有源域以及目标域进行特征建模,然后利用多路对抗域适应技术(类似于GAN生成器),每个源域分别与目标域进行两两组合对抗,以此明确学习域的不变特征,极大程度地降低系统因数据偏差而对环境进行误判。

去年创下融资纪录的RoadStar.ai星行科技死于内讧,成为第一家倒下的无人车公司;苹果自动驾驶部门裁员190人,无人车数量减少到62辆;有吴恩达背景的美国自动驾驶创业公司Drive.ai上个月也传出了“卖身”的消息。

1.自适应曝光算法。

简单来说,就是满足哪些条件才有可能实现域自适应学习。这对模型的学习能力(算法也有学霸和学渣之分)、源域和目标域的相关性(比如硅谷和重庆的路面差异)、算法的误差界分析(源域和目标域必须同时满足最小近似误差)、学习任务的先验知识等,这四个问题的妥善解决,才能有效帮助机器进行域自适应学习。

以往的解决方案是“吃一堑,长一智”。收集训练集(包括失败范例)的数据,提取特征,然后让机器依据经验误差最小准则学习分类器。但这样容易产生三个问题:

现在看到“无人驾驶”这四个字,绝大多数人会想到什么?圈内人可能会觉得“凉”,而普通民众则是“反感”。

商汤的研究人员提出了一种名为“鸡尾酒”的网络,以解决将知识从多源域的数据向目标域迁移的问题,来帮助无人车模型更有效地识别新环境。

如果说波士顿和硅谷,由于气候和路况上的巨大差异,在一年的任何时候,都可以被系统标记为不同的域,可以通过不同的模型来解决。那么面对高度相似域,比如同样是城市街景,但北京和重庆却有着不同的道路设计,难度于是再一次升级了。

尽管无人驾驶测试车的上路里程和接管数据都越来越漂亮,但对于机器学习模型来说,如何在新的、未知的环境中也能和测试道路上表现的一样优秀,这仍然是一个公开的难题。

举个例子,自动驾驶汽车可以利用在硅谷的道路测试数据集训练出一个表现良好的无人车模型。然而,同样的模型如果被部署在波士顿这样多雪天气的地区,就可能表现得很糟糕,因为机器以前从来没有见过雪。如何在差异化的环境中进行有效的自主操作,复用自己学到的经验,这仍然是机器学习的一个难点。

1.域适应的可能性。

2019第一季度刚刚过去,关于无人驾驶的负面新闻层出不穷:

那么,域适应对自动驾驶的安全问题究竟有多重要?我们通过一篇文章来抢先了解一下。

以往在计算机视觉、机器学习等领域的顶级会议中,关于域适应的研究都集中在图像分类和语义分割方面,很少看到实例级任务上的应用,如目标检测及跟踪,尽管它们对于无人驾驶来说更加重要。

即便是在无人车最为成熟的湾区,也有不少当地居民扎胎的扎胎,拿枪的拿枪,让人对无人驾驶的未来有点灰心。而当前景变得不再明朗的时候,或许,追求技术才是最终的续命之道。

前面提到,不同城市和路面环境的光线强弱都是不同的,为保证无人驾驶车辆在各种光线环境都能够获取可靠的道路信息,有研究人员提出了一种自适应曝光算法。利用光学传感器将采集图像转化为灰度值,并逐行进行动态阈值比对处理,快速获取下一周期正确曝光点。在道路实际的测试中,该算法能够快速并有效获取道路信息,后续的边界处理较为清晰。

然而,强烈的背叛感迅速袭来,第九顺位的雄鹿队“出手相助” ,硬生生地在皮蒂诺面前劫走诺维茨基。在随后的交易中,诺维茨基和特雷勒互换东家,德国人就此披上了小牛队球衣,终其职业生涯也未再脱下。随后的故事已经人尽皆知,诺维茨基和马克·库班捆绑在一起,两个人休戚与共地将这支球队带入联盟豪强行列,直至2011年使小牛队成为NBA历史上第十七支冠军球队,诺维茨基一举确定了自己迄今为止NBA最伟大外籍球员的地位。但可惜,作为NBA历史上第一位完全没有美国篮球背景的MVP,待到诺维茨基在2011年再收获总决赛MVP头衔时,他已经错过了再创历史的机会。4年前的2007年托尼·帕克跟随马刺队捧杯,已经夺走过一次总决赛MVP。

在此之前,这项复杂的技术还是老老实实地待在实验室和测试道路上吧。

“对卡塔尔而言,最珍贵的并非石油和天然气,而是绿草。饱受沙漠之苦的卡塔尔尤为珍视绿洲和丰茂的植被。”卡塔尔资深评论员奈比尔说,中国在退耕还林、绿化沙漠等方面具有独到的先进经验与技术,本届世园会将成为中国与参会各方交流经验的重要平台,有助于提升包括卡塔尔在内阿拉伯国家的环保意识以及控制沙漠化和环境改善的能力。

时间定格在2019年4月11日他的最后一次跳投,定格在全场20分10个篮板,定格在生涯的第411次两双,定格在世纪相伴的圣安东尼奥球迷山呼海啸般“MVP”的呼喊声中。如果说,马里昂和特里代表了那些艰苦岁月里最难得的守望相助,那库班则是这悠长岁月里最可贵的坚守。他一如既往的掏心掏肺:“我可以向你承诺一切,你教我们的一切都会继续下去,你一生都会有工作,我不在乎你做什么。我保证会退役你的球衣号码,我保证会为你建造最大最好的雕像。”退役的最后一刻,曾经的偶像、导师、战友都陪伴在身边,背后有幸福的家庭,没有比这更美好的结局。

显然,我们需要借助其他方法来调教无人车,来减少它在陌生环境中失败的次数。“域自适应”就是其中之一。

原理是利用已有的先验知识,比如从源域图像中学会辨识障碍物的颜色、边缘、纹理特征等等,对目标域道路上的不同车辆进行分析并快速提取出障碍物。

卡塔尔馆的设计与北京世园会“绿色生活美丽家园”的主题互相呼应。“卡塔尔参加北京世园会契合了卡塔尔2030国家愿景,在保护环境和增加绿色空间等重点议题上,卡塔尔和北京世园会关切一致。”阿什卡纳尼说,通过参加北京世园会,可以借鉴中国生态文明建设的成功经验,为卡塔尔主办2022年世界杯等活动做好准备。

就在前两天,有研究人员通过在路上贴贴纸之类的“物理攻击”就让特斯拉的自动驾驶汽车并入了反向车道,甚至还能在没有车主授权的状态下用Xbox 游戏手柄操控。

2.路面障碍物检测。

阿什卡纳尼说,这5棵树有不同寓意:第一棵是儿童树,体现卡塔尔引导儿童了解农业和发展农业技术的重要性;第二棵树描绘卡塔尔的未来,同时配有卡塔尔筹备主办2022年足球世界杯的画面,以及卡塔尔和中国两国合作项目的介绍;第三棵树讲述卡塔尔的环境故事,介绍卡塔尔现有各类植物;第四棵树介绍卡塔尔的古老市场;第五棵树象征卡塔尔的各类公园,包括沙漠园林植物公园等。

目前看来,由于无人驾驶任务自身的复杂性,往往需要 从多数据源向目标域进行迁移学习,这就必须考虑两个难题:

这方面的算法很多,比如Zielke等人利用马路边缘的对称性与显著性来提取马路边缘信息。Kuehnle等人基于图像中车轮的对称性来识别车的后轮。Crisman等人利用视觉图像中的颜色信息实现了马路跟随等等,都从不同程度提升了无人驾驶目标检测的性能。

一个时代又过去,新的时代同样精彩。你的名字永远留在NBA史册,你的身影留在深爱你的球迷心中。再见,诺天王!再见,德国战车!

在来到美国之前,诺维茨基不过是一名在德国本土联赛效力的瘦弱少年,他的大部分比赛经验都来自德国乙级联赛的战场。但这一状态从1997年夏天开始改变。在一次NBA超级球星欧陆探访活动中,诺维茨基遇见了早已功成名就的超级大前锋查尔斯·巴克利,依靠着自己过人的天赋,他不仅在巴克利面前祭出了防不胜防的招牌式跳投,甚至还在对手脑袋顶上完成了一次暴扣。比赛过后巴克利扔给了旁人一句话: “这孩子太有天赋了,如果他想打NBA,让他给我打电话。诺维茨基没来得及给巴克利打电话,因为他已经连接电话都忙不过来了。次年的耐克篮球峰会,他作为国际队代表独得33分14个篮板,该得分纪录直到12年后才被土耳其中锋埃内什·坎特所打破。诺维茨基名声大噪,全联盟都开始对这个略显怪异的年轻人加以关注。

这些都对算法性能提出了不少挑战。在此,我们不妨列举几个具有代表性的算法,看看他们是如何解决无人驾驶相关技术难题的:

一个是目标域(target domain)表示测试样本所在的领域,无标签或者只有少量标签。当一辆无人车测试车从硅谷变换到波士顿的道路上,它面对的就是一个全新的目标域。

产业之所以受挫,实在是因为无人车的安全性难以完全说服民众。

今年的挑战赛中,伯克利和滴滴将分别开放了自家的超大规模驾驶视频数据集BDD100K和D-City,BDD100K包含10万个美国公开驾驶视频,D-City提供中国几大城市的超过10000个视频记录。这些数据集都被标注了好了所有道路物体,以及天气、道路和交通条件等关键对象和数据,以此催生能够改变无人驾驶安全隐忧的算法。

三是社会舆论的高风险性。要让无人车系统从失败中吸取经验,首先,它要先犯错。但这在目前普通居民对无人车安全非常担忧的大环境下,无人车碰撞、剐蹭、识别太慢等问题都会被拿出来质疑,再采用依靠事故数据来学习如何避免错误的方法无疑是灾难性的。

无人车的域自适应性学习也是同样的逻辑:先利用已有的标注数据进行初始化学习,然后在大量未标注的数据中不断依据先验知识进行样本挖掘,以增量地学习模型和适配未标注数据,从而在陌生的道路环境中也能表现良好地完成学习任务。

按照伯克利的规划,这次挑战将集中在目标检测与目标跟踪任务的域适应上,并能够在中美的不同城市场景中实现自动迁移。

3.统计估计的一致性。

我们再将任务分门别类梳理一下:

先解释两个关键概念: