智能傳感

超級干貨!RoboView 技術(shù)篇之 3D 視覺

ainet.cn   2022年05月31日

  從手機解鎖、支付消費到工廠的生產(chǎn)應(yīng)用,3D 視覺已經(jīng)深入到生活的方方面面。那到底什么是3D 視覺。它在仙工智能視覺 AI 解決方案中又扮演著什么角色?

3D視覺與2D視覺的技術(shù)差異

  3D 視覺與 2D視覺技術(shù)的最大區(qū)別在于處理的數(shù)據(jù)類型不同。在 3D 視覺領(lǐng)域,被處理的對象通常是依靠 3D 傳感器采集到的三維點云數(shù)據(jù),而 2D 視覺技術(shù)主要被用于處理平面圖像里的信息。這決定了 3D 視覺不僅能夠感知場景中物體的有無,還能夠準確的感知到物體離我們距離遠近、尺寸大小和位置朝向。

  搭配上 RoboView Server 算法平臺,AMR 就可以擁有像人眼一樣能夠真實感知物體的三維尺寸信息的視覺,更好地實現(xiàn) 2D 視覺無法實現(xiàn)或者不好實現(xiàn)的功能。

RoboView 如何通過 3D 視覺實現(xiàn)這些功能

  雖然 3D 成像技術(shù)在不斷發(fā)展,但目前依然沒有具備抗環(huán)境光干擾能力強、成像距離遠、測距精度高、分辨高和成本低等優(yōu)點于一身的 3D 傳感器。

  因此,目前 3D 視覺的應(yīng)用還是依據(jù)具體的使用場景和預(yù)算來選擇相機,然后根據(jù)相機成像結(jié)果來定制性的進行算法開發(fā)。這種成本高、周期久的應(yīng)用模式嚴重限制了 3D 視覺在實際場景中的使用。

  本著以標(biāo)準化產(chǎn)品支撐非標(biāo)應(yīng)用的思維,RoboView 的3D 視覺模塊對過往3D視覺非標(biāo)項目進行總結(jié)性分析,六大基本操作流程,就像生產(chǎn)線上的六道基本工序一樣對 3D 視覺數(shù)據(jù)進行分解、處理和分析,最終得到我們想要的信息。

  第一步-數(shù)據(jù)采集

  3D 數(shù)據(jù)采集流程主要工作是獲取場景的 3D 信息,該流程對外面對的是不同品牌和型號的 3D 傳感器接口,對內(nèi)是輸出同一格式的 3D 視覺數(shù)據(jù)。實現(xiàn)了對外整合和對內(nèi)的統(tǒng)一。

  第二步-數(shù)據(jù)標(biāo)定

  數(shù)據(jù)標(biāo)定主要工作是建立3D 傳感器與真實場景之間的聯(lián)系,將3D傳感器看到的事物與真實場景中存在的事物建立一一對應(yīng)關(guān)系。完成數(shù)據(jù)標(biāo)定過程,我們就可以將3D視覺數(shù)據(jù)分析出來的結(jié)果反饋到到真實場景中。

  第三步-數(shù)據(jù)濾波

  數(shù)據(jù)濾波過程相當(dāng)于對采集到的3D信息進行一次初略的清洗,去除與后續(xù)分析對象無關(guān)的信息,可以方便我們更加聚焦在需要處理的對象上。

  第四步-場景分割

  場景分割是對3D數(shù)據(jù)進行降維處理,將濾波后的3D視覺數(shù)據(jù)根據(jù)其結(jié)構(gòu)特征及紋理差異分割成平面、連續(xù)曲面等一系列簡單結(jié)構(gòu)的3D視覺數(shù)據(jù)。通過將場景內(nèi)的3D視覺數(shù)據(jù)分割成一塊塊簡單結(jié)構(gòu)特征,可以有效的避免兩個不同對象干擾后期的目標(biāo)識別結(jié)果。

  第五步-目標(biāo)識別

  目標(biāo)識別就是確定目標(biāo)物體在場景中的位置和姿態(tài),利用目標(biāo)識別算法準確的識別場景中的貨物所在位置為后續(xù)數(shù)據(jù)評估提供基礎(chǔ)。識別出貨物的位置與姿態(tài)也可以用來引導(dǎo)機器人對貨物進行叉取轉(zhuǎn)運。

  第六步-數(shù)據(jù)評估

  準確識別出場景中的貨物后,數(shù)據(jù)評估流程就可以評估貨物的長、寬、高等尺寸信息,進而分析出貨物堆疊層高、貨物類型等深層次信息。

RoboView 3D 視覺提供功能

  1、障礙物檢測

  3D 視覺下,無懼陰影和視線遮擋等,有效減少誤警問題,大幅提升應(yīng)急通道障礙物檢測功能的準確性。

  2、庫位管理

  帶有 3D 視覺的庫位管理,不僅可以準確管理庫位內(nèi)貨物有無信息,更高級的貨物尺寸信息、堆疊層高和貨物擺放位姿等信息。這些深層次的信息為后續(xù)的高層級應(yīng)用如目標(biāo)檢測,AGV 調(diào)度等深層次的庫位管理功能提供了可能。

  除此之外,仙工智能視覺 AI 解決方案 RoboView 為客戶提供覆蓋生產(chǎn)、安全、管理等環(huán)節(jié)下眾多應(yīng)用的視覺 AI 解決方案。解決方案涵蓋前期調(diào)研、中期研發(fā)、落地和后期的產(chǎn)品維護和升級,助力客戶提高生產(chǎn)效率,加速完成智能化生產(chǎn)。

(轉(zhuǎn)載)

標(biāo)簽:仙工智能 我要反饋 
泰科電子ECK、ECP系列高壓直流接觸器白皮書下載
ABB協(xié)作機器人,自動化從未如此簡單
優(yōu)傲機器人下載中心
2024全景工博會
專題報道
2023-2024 智能·零碳成果展映
2023-2024 智能·零碳成果展映

“2023-2024智能·零碳成果展映”展示國內(nèi)外企業(yè)推進“雙碳”實踐的最新成果,鼓勵更多企業(yè)、科研機構(gòu)、投資機構(gòu)等廣泛... [更多]

中國國際進口博覽會
中國國際進口博覽會

11月5日至10日,第七屆中國國際進口博覽會在國家會展中心(上海)舉行。152個國家、地區(qū)和國際組織,近3500家參展企... [更多]

2024 工博會 | 直播探館 · 全景解讀
2024 工博會 | 直播探館 · 全景解讀

第二十四屆中國工博會于9月24日至28日在國家會展中心(上海)舉行,展會以“工業(yè)聚能 新質(zhì)領(lǐng)航”為全新主題。 [更多]