siemens x
智能傳感

超級(jí)干貨!RoboView 技術(shù)篇之 3D 視覺

2025China.cn   2022年05月31日

  從手機(jī)解鎖、支付消費(fèi)到工廠的生產(chǎn)應(yīng)用,3D 視覺已經(jīng)深入到生活的方方面面。那到底什么是3D 視覺。它在仙工智能視覺 AI 解決方案中又扮演著什么角色?

3D視覺與2D視覺的技術(shù)差異

  3D 視覺與 2D視覺技術(shù)的最大區(qū)別在于處理的數(shù)據(jù)類型不同。在 3D 視覺領(lǐng)域,被處理的對(duì)象通常是依靠 3D 傳感器采集到的三維點(diǎn)云數(shù)據(jù),而 2D 視覺技術(shù)主要被用于處理平面圖像里的信息。這決定了 3D 視覺不僅能夠感知場(chǎng)景中物體的有無,還能夠準(zhǔn)確的感知到物體離我們距離遠(yuǎn)近、尺寸大小和位置朝向。

  搭配上 RoboView Server 算法平臺(tái),AMR 就可以擁有像人眼一樣能夠真實(shí)感知物體的三維尺寸信息的視覺,更好地實(shí)現(xiàn) 2D 視覺無法實(shí)現(xiàn)或者不好實(shí)現(xiàn)的功能。

RoboView 如何通過 3D 視覺實(shí)現(xiàn)這些功能

  雖然 3D 成像技術(shù)在不斷發(fā)展,但目前依然沒有具備抗環(huán)境光干擾能力強(qiáng)、成像距離遠(yuǎn)、測(cè)距精度高、分辨高和成本低等優(yōu)點(diǎn)于一身的 3D 傳感器。

  因此,目前 3D 視覺的應(yīng)用還是依據(jù)具體的使用場(chǎng)景和預(yù)算來選擇相機(jī),然后根據(jù)相機(jī)成像結(jié)果來定制性的進(jìn)行算法開發(fā)。這種成本高、周期久的應(yīng)用模式嚴(yán)重限制了 3D 視覺在實(shí)際場(chǎng)景中的使用。

  本著以標(biāo)準(zhǔn)化產(chǎn)品支撐非標(biāo)應(yīng)用的思維,RoboView 的3D 視覺模塊對(duì)過往3D視覺非標(biāo)項(xiàng)目進(jìn)行總結(jié)性分析,六大基本操作流程,就像生產(chǎn)線上的六道基本工序一樣對(duì) 3D 視覺數(shù)據(jù)進(jìn)行分解、處理和分析,最終得到我們想要的信息。

  第一步-數(shù)據(jù)采集

  3D 數(shù)據(jù)采集流程主要工作是獲取場(chǎng)景的 3D 信息,該流程對(duì)外面對(duì)的是不同品牌和型號(hào)的 3D 傳感器接口,對(duì)內(nèi)是輸出同一格式的 3D 視覺數(shù)據(jù)。實(shí)現(xiàn)了對(duì)外整合和對(duì)內(nèi)的統(tǒng)一。

  第二步-數(shù)據(jù)標(biāo)定

  數(shù)據(jù)標(biāo)定主要工作是建立3D 傳感器與真實(shí)場(chǎng)景之間的聯(lián)系,將3D傳感器看到的事物與真實(shí)場(chǎng)景中存在的事物建立一一對(duì)應(yīng)關(guān)系。完成數(shù)據(jù)標(biāo)定過程,我們就可以將3D視覺數(shù)據(jù)分析出來的結(jié)果反饋到到真實(shí)場(chǎng)景中。

  第三步-數(shù)據(jù)濾波

  數(shù)據(jù)濾波過程相當(dāng)于對(duì)采集到的3D信息進(jìn)行一次初略的清洗,去除與后續(xù)分析對(duì)象無關(guān)的信息,可以方便我們更加聚焦在需要處理的對(duì)象上。

  第四步-場(chǎng)景分割

  場(chǎng)景分割是對(duì)3D數(shù)據(jù)進(jìn)行降維處理,將濾波后的3D視覺數(shù)據(jù)根據(jù)其結(jié)構(gòu)特征及紋理差異分割成平面、連續(xù)曲面等一系列簡(jiǎn)單結(jié)構(gòu)的3D視覺數(shù)據(jù)。通過將場(chǎng)景內(nèi)的3D視覺數(shù)據(jù)分割成一塊塊簡(jiǎn)單結(jié)構(gòu)特征,可以有效的避免兩個(gè)不同對(duì)象干擾后期的目標(biāo)識(shí)別結(jié)果。

  第五步-目標(biāo)識(shí)別

  目標(biāo)識(shí)別就是確定目標(biāo)物體在場(chǎng)景中的位置和姿態(tài),利用目標(biāo)識(shí)別算法準(zhǔn)確的識(shí)別場(chǎng)景中的貨物所在位置為后續(xù)數(shù)據(jù)評(píng)估提供基礎(chǔ)。識(shí)別出貨物的位置與姿態(tài)也可以用來引導(dǎo)機(jī)器人對(duì)貨物進(jìn)行叉取轉(zhuǎn)運(yùn)。

  第六步-數(shù)據(jù)評(píng)估

  準(zhǔn)確識(shí)別出場(chǎng)景中的貨物后,數(shù)據(jù)評(píng)估流程就可以評(píng)估貨物的長(zhǎng)、寬、高等尺寸信息,進(jìn)而分析出貨物堆疊層高、貨物類型等深層次信息。

RoboView 3D 視覺提供功能

  1、障礙物檢測(cè)

  3D 視覺下,無懼陰影和視線遮擋等,有效減少誤警問題,大幅提升應(yīng)急通道障礙物檢測(cè)功能的準(zhǔn)確性。

  2、庫(kù)位管理

  帶有 3D 視覺的庫(kù)位管理,不僅可以準(zhǔn)確管理庫(kù)位內(nèi)貨物有無信息,更高級(jí)的貨物尺寸信息、堆疊層高和貨物擺放位姿等信息。這些深層次的信息為后續(xù)的高層級(jí)應(yīng)用如目標(biāo)檢測(cè),AGV 調(diào)度等深層次的庫(kù)位管理功能提供了可能。

  除此之外,仙工智能視覺 AI 解決方案 RoboView 為客戶提供覆蓋生產(chǎn)、安全、管理等環(huán)節(jié)下眾多應(yīng)用的視覺 AI 解決方案。解決方案涵蓋前期調(diào)研、中期研發(fā)、落地和后期的產(chǎn)品維護(hù)和升級(jí),助力客戶提高生產(chǎn)效率,加速完成智能化生產(chǎn)。

(轉(zhuǎn)載)

標(biāo)簽:仙工智能 我要反饋 
2024世界人工智能大會(huì)專題
即刻點(diǎn)擊并下載ABB資料,好禮贏不停~
優(yōu)傲機(jī)器人下載中心
西克
2024全景工博會(huì)
專題報(bào)道
2024 工博會(huì) | 直播探館 · 全景解讀
2024 工博會(huì) | 直播探館 · 全景解讀

第二十四屆中國(guó)工博會(huì)于9月24日至28日在國(guó)家會(huì)展中心(上海)舉行,展會(huì)以“工業(yè)聚能 新質(zhì)領(lǐng)航”為全新主題。 [更多]

2024世界人工智能大會(huì)
2024世界人工智能大會(huì)

WAIC 2024將于7月在上海舉行,論壇時(shí)間7月4日-6日,展覽時(shí)間7月4日-7日。WAIC 2024將圍繞“以共商促... [更多]

2024漢諾威工業(yè)博覽會(huì)專題
2024漢諾威工業(yè)博覽會(huì)專題

2024 漢諾威工業(yè)博覽會(huì)將于4月22 - 26日在德國(guó)漢諾威展覽中心舉行。作為全球首屈一指的工業(yè)貿(mào)易展覽會(huì),本屆展覽會(huì)... [更多]