近日，為期三個(gè)月的 CVPR 2023 自動(dòng)駕駛國(guó)際挑戰(zhàn)賽比賽結(jié)果揭曉。曠視研究院在OpenLane Topology 賽道中擊敗 30 余支國(guó)內(nèi)外隊(duì)伍，奪得冠軍。
自動(dòng)駕駛技術(shù)已經(jīng)滲透到人們的日常生活中，但是傳統(tǒng)的感知方法仍不能滿足大家對(duì) L5 級(jí)自動(dòng)駕駛的追逐。CVPR 2023 自動(dòng)駕駛國(guó)際挑戰(zhàn)賽將自動(dòng)駕駛技術(shù)分為對(duì)背景場(chǎng)景的理解、對(duì)前景物體的感知和對(duì)未來(lái)運(yùn)動(dòng)的規(guī)劃三方面，并舉辦了四個(gè)不同賽道的競(jìng)賽，希望選手們通過(guò)深入探討自動(dòng)駕駛感知決策系統(tǒng)面臨的任務(wù)和挑戰(zhàn)，提升自動(dòng)駕駛的性能表現(xiàn)。
圖片來(lái)源：Challenge at CVPR 2023 Autonomous Driving Workshop | OpenDriveLab
OpenLane Topology賽道賽題介紹
為了更好的實(shí)現(xiàn)自動(dòng)駕駛場(chǎng)景理解，現(xiàn)有場(chǎng)景感知任務(wù)從車道線分割、檢測(cè)發(fā)展到車道中心線檢測(cè)，但是車道線和車道線之間、車道線和交通標(biāo)志之間的邏輯關(guān)系仍然沒(méi)有得到合理的建模。OpenLane Topology 比賽[1]要求以車道中心線取代以往數(shù)據(jù)集中的車道邊緣線，結(jié)合車道間的拓?fù)潢P(guān)系，直接得到車輛行駛的軌跡。
此外，本次比賽用到的數(shù)據(jù)集——OpenLane-Huawei 數(shù)據(jù)集首次對(duì)交通標(biāo)識(shí)和其對(duì)車道的對(duì)應(yīng)關(guān)系進(jìn)行了標(biāo)注，使每條車道都擁有實(shí)時(shí)的交通屬性，來(lái)指引車輛在當(dāng)前車道上對(duì)未來(lái)的自車行為有合理的傾向。本次比賽以給定環(huán)視相機(jī)圖片作為輸入，參賽者需要同時(shí)給出車道中線和交通元素的感知結(jié)果及拓?fù)潢P(guān)系的認(rèn)知結(jié)果。主辦方將根據(jù)各參賽隊(duì)伍提交算法的 OLS(感知結(jié)果和拓?fù)潢P(guān)系預(yù)測(cè) mAP 的平均)進(jìn)行排名。
曠視奪冠算法介紹
拓?fù)潢P(guān)系的預(yù)測(cè)依賴于車道中心線和交通元素的感知結(jié)果，因此對(duì)于車道中心線和交通元素的感知非常重要，我們分別采用了不同的模型來(lái)完成這兩個(gè)感知任務(wù)。
對(duì)于車道中心線檢測(cè)任務(wù)來(lái)說(shuō)，不同于以往的 3D 車道線檢測(cè)任務(wù)，3D 車道中心線在圖像中往往沒(méi)有明顯的幾何特征。3D 車道中心線的檢測(cè)往往需要根據(jù)周邊的 3D 車道線的位置關(guān)系進(jìn)行判斷，因此 3D 車道中心線的檢測(cè)需要較大的感受野。我們對(duì)比了現(xiàn)有的 3D 車道線檢測(cè)框架，最終選擇了曠視自研的 PETRv2 框架[2]作為 baseline。在 PETRv2 中，lane queries 會(huì)通過(guò)全局注意力機(jī)制和圖像特征進(jìn)行交互，具有全局的感受野。這種交互方式可以兼顧局部的細(xì)節(jié)特征和整體的結(jié)構(gòu)特征，有利于對(duì) 3D 車道中心線的預(yù)測(cè)。
對(duì)于交通元素的檢測(cè)任務(wù)，考慮到以往比賽的經(jīng)驗(yàn)，我們選取了 YOLO 系列最新的模型 YOLOv8 模型[3]作為我們的 baseline。相比其他 2D 檢測(cè)方法，它擁有更快的速度，更準(zhǔn)確的性能。
結(jié)合 YOLOv8 和 PETRv2，我們進(jìn)一步搭建了一個(gè)多階段的網(wǎng)絡(luò)框架，并將其拓展到拓?fù)潢P(guān)系的預(yù)測(cè)中。首先，我們使用一個(gè)預(yù)先訓(xùn)練好的 YOLOv8 模型，通過(guò)和前向視角圖像交互來(lái)進(jìn)行交通元素的檢測(cè)任務(wù)，并生成對(duì)應(yīng)的交通元素特征。PETRv2 模型通過(guò)和多視角圖像特征交互來(lái)生成 3D 車道中心線檢測(cè)結(jié)果和對(duì)應(yīng)的車道中心線特征。這樣設(shè)計(jì)是為了盡最大限度保證 2D 檢測(cè)的性能，同時(shí)實(shí)現(xiàn)交通元素特征與車道中心線特征的特征對(duì)齊。基于兩個(gè)任務(wù)的特征，我們將對(duì)應(yīng)的特征進(jìn)行拼接，然后分別使用了兩組多層感知機(jī)預(yù)測(cè)對(duì)應(yīng)的拓?fù)潢P(guān)系矩陣。
最終，我們的團(tuán)隊(duì)MFV(Megvii-Foundation model-Video)在 OpenLane Topology 挑戰(zhàn)賽中憑借 OLS 指標(biāo)的顯著優(yōu)勢(shì)取得了第一名。
https://opendrivelab.com/AD23Challenge.html#Track1
[1] Wang, Huijie, et al. "Road Genome: A Topology Reasoning Benchmark for Scene Understanding in Autonomous Driving." arXiv preprint arXiv:2304.10440 (2023).
[2] Liu, Yingfei, et al. "Petrv2: A unified framework for 3d perception from multi-camera images." arXiv preprint arXiv:2206.01256 (2022).
[3] https://github.com/ultralytics/ultralytics.
（曠視研究院）
