ADAS和自動駕駛的解決方案

2025China.cn 2018年04月04日

　　閉幕不久的“2018慕尼黑電子展”上，瑞薩電子中國汽車電子ADAS 應用工程師應毅辰在同期舉行的“中國國際汽車電子創(chuàng)新技術大會"上為大家發(fā)表了題為《ADAS和自動駕駛的解決方案》的演講，介紹了瑞薩電子在無人駕駛、高級輔助駕駛方面的解決方案及市場風向。

　　自動駕駛的市場趨勢

　　無人駕駛是市場發(fā)展的趨勢，實際上無人駕駛和輔助駕駛，在現(xiàn)有車輛上已有一些應用。從較基本的環(huán)視，高速公路的ACC，提高防碰撞及跟隨能力，已經(jīng)在很多車輛上得到實施和應用。早在上世紀九十年代，汽車上就有定制化應用，發(fā)展近三十年后，針對原有的場景，應用的功能得到極大提升，逐步從低速和高速方面，向無人駕駛新領域邁進一大步。

　　2017年，是環(huán)視系統(tǒng)的發(fā)展節(jié)點，加載更多的設備功能、輔助的功能，來完成遠程泊車、自動泊車。在高速方面，也會針對不同的一個應用場景，更好的一個識別、控制，提升車輛的控制精度和功能，為今后高等級L3、L4等級，甚至L5等級做鋪墊。瑞薩電子專注這些應用場景，發(fā)展完善對應產(chǎn)品，支持現(xiàn)在車廠及各大一級供應商。

　　瑞薩電子新型自動駕駛理念

　　瑞薩電子提出了Renesas autonomy?平臺，針對ADAS感知部分、傳感器部分、以及車輛部分，搭建一個這樣的平臺，讓不同產(chǎn)品應用得以應用于ADAS整個場景之中。

　　攝像頭實際上視覺方面的算法非常復雜，其ADAS集成度非常高，整個系統(tǒng)安全可靠性要求也比較高。瑞薩電子發(fā)起了基于R-Car產(chǎn)品系列R-Car聯(lián)盟，與軟件、中間件、系統(tǒng)集成等全球各大供應商積極合作，搭建Renesas autonomy?平臺，打通上下游生態(tài)圈，為客戶更好地提供更高效更易使用的平臺。

　　瑞薩電子全球合作伙伴

　　環(huán)視功能市場細分

　　ADAS環(huán)視是一個較容易的切入點，它對系統(tǒng)的成本、難度要求相對較低，是市場上較為成熟的輔助功能。對于入門級的環(huán)視，是基于模擬攝像頭的一個2D靜態(tài)環(huán)視。現(xiàn)在的3D環(huán)視，是基于數(shù)字高清攝像頭，目前已配置到很多汽車中，逐漸這會發(fā)展成為一個標配?；谧钚?D環(huán)視的方案，會有更多的輔助功能，如行人識別、車道線的識別。

　　針對3D環(huán)視方案，性能會有更多提升，加入更多輔助功能，停車時的錄制功能，錄制車輛行駛過程中的一些信息、遠程自動泊車功能，以及全程自動泊車輔助功能，還有支持L2等級的自動駕駛應用。

　　環(huán)視的應用場景，還可以加上一些額外的輔助功能，比如說加更多的攝像頭，監(jiān)控車艙內(nèi)信息，補充更多的攝像頭去觀測到更廣闊的范圍。環(huán)視攝像頭還可以替代傳統(tǒng)的物理后視鏡，通過加屏幕的方式，使用虛擬后視鏡，為駕駛員提供更多信息。以上是環(huán)視市場的細分。

　　第三代R-CAR用于環(huán)視市場的優(yōu)勢

　　瑞薩電子最新推出的R-Car第三代產(chǎn)品是面向當前發(fā)展迅猛的ADAS應用，針對環(huán)視、自動泊車等應用場景，瑞薩規(guī)劃對第三代產(chǎn)品做了系統(tǒng)性規(guī)劃，以提供高性價比的應用支持。

　　R-Car 第三代產(chǎn)品線分得很細，從入門級到高級都能提供相應的支持，既可以做簡單的3D靜態(tài)環(huán)視，也可以做3D任意視角的動態(tài)環(huán)視，還可以在3D環(huán)視的基礎上加入更多的識別功能，從而實現(xiàn)輔助泊車功能?？蛻艨筛鶕?jù)自己所需的功能，挑選合適產(chǎn)品，搭建自有平臺。為市場提供非常彈性的方案，也是瑞薩電子比較大的優(yōu)勢。

　　面向泊車輔助市場的第三代R-CAR產(chǎn)品

　　目前，我們會根據(jù)不同的顯示效果，嵌入一些高性能GPU，形成一個對車體的3D渲染，展示出酷炫的效果。R-Car 第三代產(chǎn)品同時集成了用于識別的性能加速核，提升識別功能的速度，來實現(xiàn)更優(yōu)的行車輔助功能。

　　目前環(huán)視應用對顯示效果要求較高，我們采用了高帶寬的視頻輸入接口，引入130萬像素、甚至200萬像素的攝像頭，為環(huán)視系統(tǒng)、以及輔助泊車提供優(yōu)異的性能支撐。

　　下圖是瑞薩電子針對輔助泊車及環(huán)視系統(tǒng)的產(chǎn)品線規(guī)劃，紫色部分是已經(jīng)量產(chǎn)的產(chǎn)品，主要針對于以前的模擬攝像頭、2D環(huán)視及低端的3D環(huán)視應用。藍色部分是新的第三代產(chǎn)品，提供從入門級到高級環(huán)視應用場景的差異化產(chǎn)品。

　　R-CAR用于泊車輔助系統(tǒng)的主要優(yōu)勢

　　這里向大家介紹一下R-Car系列在泊車系統(tǒng)當中的主要優(yōu)勢，如之前提到的用于視覺輔助的加速核。R-Car系列可支持功能選擇，這是輔助駕駛、高級自動駕駛非常重要的一部分，因為這些功能會涉及到控制，控制功能會涉及到駕駛員、乘客的生命安全。因此，我們在芯片中引入了ISO26262標準，以去滿足車輛的安全需求，提升整個產(chǎn)品的系統(tǒng)安全性。

　　瑞薩電子經(jīng)驗證的V3X圖形處理

　　慕尼黑電子展瑞薩展臺上展示了一款合作開發(fā)的基于R-Car V3M系列的環(huán)視系統(tǒng)，它是一款3D環(huán)視方案，可顯示任意視角，此外基于此方案還可加入更多識別功能。我們的合作伙伴 Cogent Embedded 還可以為中國客戶提供一定程度的定制系統(tǒng)，針對不同的應用場景做一系列的開發(fā)。

　　R-CAR V3X支持3路數(shù)據(jù)流

　　R-Car V3M 是針對車載應用場景而開發(fā)的，優(yōu)化了芯片內(nèi)部架構。標準的單一環(huán)視可能只是用來顯示環(huán)視，新增功能很難實現(xiàn)。如果你需要加行車記錄儀，可能需要外部添加模塊;如果你要加識別，可能還需要更強大的芯片。而R-Car V3M可以在一顆芯片中實現(xiàn)所有功能，通過優(yōu)化的內(nèi)部系統(tǒng)總線，實現(xiàn)三種數(shù)據(jù)流的一個并行運算。

　　這里展示的是并行處理的環(huán)視效果，可同步顯示在畫面上，這部分的視頻輸入也可以同步到內(nèi)部的加速核進行識別，實現(xiàn)諸如障礙物識別、車道線識別等功能。如果你需要行車輔助、行車記錄的功能，只需要使用內(nèi)部視頻編碼器，對視頻進行一個編碼，儲存到內(nèi)部數(shù)據(jù)文件，或者儲存到某個公有云，可在手機或車機上觀看。

　　第三代R-CAR中集成ISP

　　第三代產(chǎn)品最具優(yōu)勢的是集成了ISP，我們友商的競品多是使用外置ISP。但我們通過內(nèi)置ISP，由主控芯片進行計算，對圖象的畫質帶來非常大的改進。環(huán)視系統(tǒng)有一個重要特征是同步，而我們通過主控芯片及內(nèi)置ISP，對攝像頭數(shù)據(jù)提供低延遲的同步，同時還提升在亮度、白平衡、序列識別等方面的顯示效果。

　　IMR 圖像失真矯正

　　因為環(huán)視攝像頭一般會使用一些廣角攝像頭，可能導致魚眼失真。為了解決魚眼失真的問題，瑞薩電子在R系列產(chǎn)品中加入了一個叫做IMR圖象失真校正引擎，可以用硬件去實現(xiàn)攝像頭的基電失真校正，而不需CPU作任何干預。我們這個IMR引擎還可以用來作3D的一些拼接效果，來替代CPU做出同樣效果的計算。

　　以上是瑞薩電子在V3系列上的總視覺IP策略。

　　瑞薩電子計算機視覺IP戰(zhàn)略

　　目前市面上很多競品的架構，如依賴強大的CPU或GPU進行識別，實現(xiàn)控制。瑞薩的方案是嵌入很多的加速引擎，來彌補GPU或CPU的運算速度和功能。GPU可能相對來說比較靈活，但功耗高;CPU的運行效率低于專用的加速核，因而我們在整個芯片中嵌入多種加速核，還有IP引擎，專門用于識別，之后新的V3系列里面還會嵌入專門用于深度學習的CNN引擎。

　　通過整合所有的硬件加速引擎，并結合CPU、GPU，瑞薩電子為您提供了一個完整的視覺處理加速方案。

　　系統(tǒng)架構

　　現(xiàn)在讓我們來看一下環(huán)視應用的系統(tǒng)架構。因為環(huán)視系統(tǒng)相對簡單一點，主要就是我們的一個SoC，加入4個攝像頭，分別安裝在車的前端或后端、左端、右端，去捕獲到車周圍360度的一個視覺的信息。通過一些中控芯片，提供一個拼接顯示。有些可能還會加上通用接口，與車身上的中控導航作一些交互。我們還會預留一些像以太網(wǎng)或者CAN-FD這類的接口，以提供通訊相關功能。

　　針對較高級的環(huán)視系統(tǒng)，我們也會輸入像前面提到的V3系列和M3搭配使用一個應用場景。M3主要面向車載娛樂應用場景，對于視覺處理的性能不如V3系列那么強大，如果你需要很強精度很高的識別功能，就需要進行深度學習，來識別障礙物，識別它的車道，M3系統(tǒng)略有不足，可以搭配一個V系列產(chǎn)品滿足一些像輔助泊車、自動泊車的應用場景。

　　正如前面提到，我們產(chǎn)品都會有一些視覺加速的硬件核，這里就是我們視覺加速使用到一個IMP引擎。這個IMP引擎實際上在我們的產(chǎn)品線，已存在了很長時間，早在以前的產(chǎn)品像SH7766這樣的模擬環(huán)視芯片，就已經(jīng)有了IMP引擎。其成熟性和功能性，都已經(jīng)得到了市場驗證。我們針對這個IMP的引擎，也提出了很多的優(yōu)化和提升，應用在最新的這代V3芯片里面。

　　這個Renesas autonomy ? 操作面的平臺，除了攝像頭這方面感知之外，我們還會有融合和判斷，這個相當于就是無人駕駛的一個大腦，為車提出一個決策、作一些路徑規(guī)劃、傳感器信息融合以及控制。

　　這方面我們也有類似產(chǎn)品，請看瑞薩電子的產(chǎn)品路線圖，現(xiàn)在我們針對像L2、L3等級一些輔助駕駛，一般半自動駕駛搭配R-Car V系列芯片可作為重要解決方案提出。

　　R-Car H3因為具備強大的CPU性能，是一個八核芯片，內(nèi)部有4個A57搭配4個A53，從而令它的計算性能非常強大，同時它也支持LPDDR4內(nèi)存，為傳感器提供了超強的一個運行帶寬，可實現(xiàn)L2等級的自動駕駛，如此優(yōu)異的硬件平臺，客戶可在上面作很多的算法開發(fā)。如果在平臺上需要強大的一個視覺處理屏，就可以像前面介紹的那樣，搭配上R-Car V3系列的產(chǎn)品。

　　針對之后的L3以及L4這種較高等級的自動駕駛，我們下一代產(chǎn)品也在對此進行規(guī)劃，CPU核將會得到更多提升，它同時也會把V3這塊視覺的另外一塊SoC集成到同一顆里面去應用，帶芯片的方案去提出這樣子一個解決方案。同時它的功能安全等級也會從原來的ASIL-B等級，會提升到ASIL-C或ASIL-D等級，更加完整地去滿足自動駕駛這樣子一個安全需求。

　　面對如此復雜的應用場景，客戶如果要自己開發(fā)硬件會比較困難，為此瑞薩電子也推出了一些開發(fā)套件，為我們的客戶及感興趣的一些同行進行先期性開發(fā)和驗證。HAD解決方案套件內(nèi)部集成了兩顆R-Car H3 SoC和一顆RH850 MCU，搭建了這個平臺?；谶@個平臺，除了做一些先期的算法驗證、系統(tǒng)集成，去做先期性研究，為之后的產(chǎn)品導入，加速它的一個導入速度。

　　我們與第三方合作進一步開發(fā)更加成熟的開發(fā)套件。與TTTECH的合作，開發(fā)出了HADP平臺，供大家參考。這就是我們和TTTECH聯(lián)合開發(fā)的，他們在我們的硬件平臺上面，搭載了他們具有優(yōu)勢的以太網(wǎng)系統(tǒng)集成方案，集成在一起提供給客戶，以加速他們的開發(fā)。