3D目標(biāo)檢測(cè)是自動(dòng)駕駛領(lǐng)域最核心的技術(shù)之一。近日，在自動(dòng)駕駛權(quán)威評(píng)測(cè)集nuScenes上，京東物流自動(dòng)駕駛團(tuán)隊(duì)提出的雷達(dá)和圖像前融合算法PAI3D，獲得多傳感器融合3D目標(biāo)檢測(cè)世界第一的成績(jī)(使用任意傳感器，不使用額外數(shù)據(jù))，這意味著京東物流末端配送自動(dòng)駕駛技術(shù)已經(jīng)位于世界領(lǐng)先水平。
▲京東物流提出的雷達(dá)和圖像前融合算法PAI3D，獲得多傳感器融合3D目標(biāo)檢測(cè)世界第一(使用任意傳感器，不使用額外數(shù)據(jù))
PAI3D是京東物流自動(dòng)駕駛基于豐富的末端配送場(chǎng)景經(jīng)驗(yàn)，提出的雷達(dá)和圖像前融合3D目標(biāo)檢測(cè)算法，該算法充分考慮了識(shí)別精度，計(jì)算效率，傳感器標(biāo)定誤差等問(wèn)題。在車端實(shí)際使用中，有效解決了遠(yuǎn)處點(diǎn)云稀疏導(dǎo)致的識(shí)別不穩(wěn)定、特殊材質(zhì)吸收點(diǎn)云導(dǎo)致的漏檢、細(xì)小障礙物難以識(shí)別以及僅依賴單目視覺(jué)3D目標(biāo)檢測(cè)深度估計(jì)不準(zhǔn)確等問(wèn)題，有力支撐了京東物流智能配送車的大規(guī)模運(yùn)營(yíng)。
nuScenes數(shù)據(jù)集是由現(xiàn)代汽車集團(tuán)和Aptiv合資成立的自動(dòng)駕駛公司Motional(前nuTonomy)于2019年3月公布的超大型自動(dòng)駕駛數(shù)據(jù)集，擁有從波士頓和新加坡等城市收集的1000個(gè)駕駛場(chǎng)景，140萬(wàn)張圖像，39幀萬(wàn)激光雷達(dá)點(diǎn)云，140萬(wàn)毫米波雷達(dá)幀和從4萬(wàn)關(guān)鍵幀中標(biāo)注的140萬(wàn)個(gè)障礙物真值框，是第一個(gè)大規(guī)模自動(dòng)駕駛數(shù)據(jù)集，該數(shù)據(jù)集來(lái)自自動(dòng)駕駛車輛的整個(gè)傳感器套件(6個(gè)攝像頭，1個(gè)激光雷達(dá)，5個(gè)雷達(dá)，GPS，IMU)的數(shù)據(jù)，在標(biāo)注數(shù)據(jù)量上是KITTI數(shù)據(jù)集的7倍，其規(guī)模和難度超過(guò)KITTI、Udacity等公共數(shù)據(jù)集。
同時(shí)參與 nuScenes 多傳感器融合3D目標(biāo)檢測(cè)的包括華為、商湯科技、三星、中國(guó)科學(xué)技術(shù)大學(xué)、上海交通大學(xué)、北京航空航天大學(xué)、北京理工大學(xué)、香港中文大學(xué)、得克薩斯大學(xué)奧斯汀分校、南洋理工大學(xué)、約翰斯·霍普金斯大學(xué)等國(guó)內(nèi)外知名企業(yè)和研究機(jī)構(gòu)。
▲京東物流雷達(dá)和圖像前融合算法PAI3D示意圖
目前在自動(dòng)駕駛L4方案中，感知主要依賴激光雷達(dá)，但激光雷達(dá)存在一些缺陷，比如遠(yuǎn)處信息稀疏，沒(méi)有顏色信息等。圖像信息可以彌補(bǔ)這些缺陷，但也缺乏深度信息。因此，在自動(dòng)駕駛的技術(shù)中，如何利用多模態(tài)的傳感器信息來(lái)設(shè)計(jì)3D檢測(cè)算法，是自動(dòng)駕駛感知系統(tǒng)的核心基礎(chǔ)。京東物流此次提出的PAI3D算法，通過(guò)在高級(jí)特征和低級(jí)特征層面融合圖像和點(diǎn)云信息，揚(yáng)長(zhǎng)避短，取得了很好的識(shí)別精度。同時(shí)PAI3D考慮了車端的算力分配，傳感器標(biāo)定誤差等因素，具備良好的實(shí)用性。
此外，PAI3D還有效的解決了復(fù)雜公開(kāi)道路運(yùn)營(yíng)中遇到的一系列難題，例如，遠(yuǎn)處點(diǎn)云稀疏導(dǎo)致的識(shí)別不穩(wěn)定、特殊材質(zhì)吸收點(diǎn)云導(dǎo)致的漏檢、細(xì)小障礙物難以識(shí)別，以及僅依賴單目視覺(jué)3D目標(biāo)檢測(cè)深度估計(jì)不準(zhǔn)確等問(wèn)題，提升了障礙物位置和類別估計(jì)的準(zhǔn)確度，減少了障礙物誤檢測(cè)和漏檢測(cè)。 PAI3D此次取得nuScenes數(shù)據(jù)集多傳感器融合3D目標(biāo)檢測(cè)世界第一的成績(jī)，可以為京東物流末端配送的自動(dòng)駕駛技術(shù)帶來(lái)以下三點(diǎn)優(yōu)勢(shì)。
首先，可通過(guò)多傳感器融合實(shí)現(xiàn)模塊復(fù)用、任務(wù)復(fù)用。隨著運(yùn)營(yíng)場(chǎng)景增加，自動(dòng)駕駛的感知系統(tǒng)需要識(shí)別越來(lái)越多的要素，PAI3D能跨傳感器模態(tài)進(jìn)行信息融合，充分利用圖像和點(diǎn)云語(yǔ)義分割信息來(lái)實(shí)現(xiàn)1+1>2的效果。
第二，充分考慮了計(jì)算資源分配的問(wèn)題，具備靈活部署到車端異構(gòu)并行計(jì)算平臺(tái)的實(shí)用性。在未來(lái)的車載系統(tǒng)中，需要考慮分時(shí)復(fù)用、異構(gòu)并行計(jì)算等問(wèn)題。PAI3D的融合方式可以隨著計(jì)算資源變化而靈活部署。
第三，標(biāo)定誤差和運(yùn)動(dòng)補(bǔ)償不敏感，在日常運(yùn)營(yíng)中，傳感器相對(duì)位置會(huì)隨著時(shí)間積累而變化，并且激光雷達(dá)和相機(jī)的物理原理導(dǎo)致兩者之間存在一定程度的時(shí)空不一致性。PAI3D充分考慮了這個(gè)問(wèn)題，能在一定限度內(nèi)容忍標(biāo)定誤差和運(yùn)動(dòng)補(bǔ)償誤差，具備很強(qiáng)的容錯(cuò)性。正是基于這三點(diǎn)優(yōu)勢(shì)，不僅彰顯出京東物流在自動(dòng)駕駛領(lǐng)域的技術(shù)實(shí)力，而且意味著京東物流末端配送自動(dòng)駕駛技術(shù)已經(jīng)位于世界領(lǐng)先水平。
近年來(lái)，在長(zhǎng)期技術(shù)投入和創(chuàng)新驅(qū)動(dòng)下，京東物流軟件、硬件及系統(tǒng)集成的三位一體供應(yīng)鏈物流技術(shù)核心競(jìng)爭(zhēng)力持續(xù)升級(jí)，目前已形成了覆蓋園區(qū)、倉(cāng)儲(chǔ)、分揀、運(yùn)輸、配送等供應(yīng)鏈各關(guān)鍵環(huán)節(jié)的技術(shù)產(chǎn)品及解決方案，以提升預(yù)測(cè)、決策和智能執(zhí)行能力，幫助更多客戶全面優(yōu)化供應(yīng)鏈網(wǎng)絡(luò)，提升數(shù)智化能力和運(yùn)營(yíng)效率。
此次獲得nuScenes多傳感器融合3D目標(biāo)檢測(cè)世界第一，再次彰顯出京東物流在自動(dòng)駕駛領(lǐng)域已經(jīng)搭建起成熟的研發(fā)和運(yùn)營(yíng)體系，憑借京東物流提供的豐富運(yùn)營(yíng)場(chǎng)景，可以實(shí)現(xiàn)快速的升級(jí)迭代，加速長(zhǎng)尾場(chǎng)景的發(fā)現(xiàn)和解決，完善大規(guī)模運(yùn)營(yíng)能力，形成技術(shù)和規(guī)模降本，為整個(gè)行業(yè)提供經(jīng)驗(yàn)和借鑒。
（轉(zhuǎn)載）
