伴隨著工業(yè)機器人的飛速發(fā)展，輔佐工業(yè)機器人更快、更準、更靈活地工作的衍生產(chǎn)業(yè)也在悄然崛起。本文針對為工業(yè)機器人賦予“慧眼”的機器視覺，著重介紹了二者結(jié)合在機器人定位引導類項目中的應(yīng)用。內(nèi)容包括定位引導項目的分類與標定策略，以及通過軟硬件設(shè)計與實際應(yīng)用中的一些案例，闡明機器視覺在該類重要應(yīng)用中為機器人工業(yè)自動化帶來的迅猛提升。
據(jù)工業(yè)和信息化部2018年9月27日消息，2018年1月至8月，中國工業(yè)機器人累計產(chǎn)量達到101,717臺(套)，同比增長19.4%。伴隨于此，輔佐機器人進行更高精度、更強適應(yīng)性自動化生產(chǎn)的機器視覺技術(shù)，在近幾年也得到突飛猛進的發(fā)展。工業(yè)機器人與機器視覺技術(shù)不僅僅局限在工業(yè)生產(chǎn)場景中結(jié)合使用，隨著經(jīng)驗的積累與技術(shù)瓶頸的突破，二者還將扮演更加重要的角色。
機器視覺與機器人的完美融合
對于傳統(tǒng)意義上的工業(yè)自動化，工業(yè)機器人在控制系統(tǒng)的指揮下，重復特定的動作流程完成加工。換言之，產(chǎn)品加工精度的保障依賴于控制系統(tǒng)的穩(wěn)定性與整個機械系統(tǒng)的精度。但是加工過程中隨機誤差的產(chǎn)生在所難免，諸如不可預測的震動、產(chǎn)品在工位間傳送發(fā)生的偏移等，此外機械結(jié)構(gòu)隨著長期使用、精度下降帶來的系統(tǒng)誤差還會導致產(chǎn)品批量報廢。而簡單的傳感器對于這些誤差的規(guī)避又顯得捉襟見肘。加上現(xiàn)今產(chǎn)品序列紛繁復雜，市場對于柔性生產(chǎn)的要求與日俱增，工業(yè)機器人想要在“失明”的情況下完成這一切就顯得尤為困難。
而當工業(yè)機器人擁有了機器視覺賦予的“慧眼”，上述問題便迎刃而解。擁有“慧眼”的工業(yè)機器人在看到目標之后，經(jīng)準確分析定位后引導動作，避免了產(chǎn)品傳送中的偏差，增強了不同產(chǎn)品的生產(chǎn)適應(yīng)性，同時大幅提升產(chǎn)品的加工精度。此外，機器視覺還能檢測成品的精度，免除人工抽檢帶來的低效、誤差與漏檢。隨著智能制造的深入，具備視覺感知能力的智能設(shè)備益發(fā)盛行，機器視覺作為前端感知的核心部件，市場需求旺盛。海康機器人在圖像傳感、人工智能、大數(shù)據(jù)分析等領(lǐng)域有多年的技術(shù)積累，目前已發(fā)展成為面向全球的機器視覺硬件產(chǎn)品和算法平臺提供商，公司堅持自主研發(fā)，持續(xù)推動智能制造進程。
機器人定位引導分類
在機器視覺與機器人相結(jié)合的應(yīng)用場景中，機器人引導定位應(yīng)用最為普遍。關(guān)于此類場景，?？禉C器人與合作伙伴共同實施了大量成功案例與成熟方案。機器人定位引導可大致分為3種模式，并進而細分為6小類：
圖1 固定相機
圖1所示的三種工作方式稱為固定相機模式，即相機安裝在設(shè)備機架上，不隨機器人的運動而運動，自左至右又依次分為抓取工況、抓取偏移糾正工況和放置工況。其中抓取工況，相機對傳送過來的來料進行拍攝和粗定位，將定位信息傳輸給機器人以便機器人根據(jù)定位信息抓取來料，如此可降低對工位間傳送機構(gòu)準確性的要求，確保抓取的穩(wěn)定性;抓取偏移補正工況可通過設(shè)置在機械臂另一側(cè)的下相機對工件進行二次精準定位，極大程度上消除來料偏差，確保能有針對性地對每個來料進行加工;放置工況內(nèi)容涵蓋廣泛，可以是簡單的放置，亦可以是貼合、安裝等，即使用相機定位最終的目標位，結(jié)合前述兩種工況，真正做到針對每個工件有的放矢。
圖2 運動相機
圖2所示為兩種運動相機模式，即相機安裝于機械臂頂端隨機械臂一同運動。雖不同于上述固定相機模式，但固定相機模式和運動相機模式在功能上殊途同歸，都可實現(xiàn)定位抓取與引導放置。兩者在保證功能的同時，能夠提供更多的安裝可能性以應(yīng)對不同的環(huán)境與硬件條件限制。
圖3 其他類型
針對不同的設(shè)備安裝場景，為提升硬件安裝的適應(yīng)性，固定相機模式與運動相機模式也可結(jié)合使用，如圖3所示。
視覺系統(tǒng)設(shè)計
結(jié)合不同場景，應(yīng)用各類型硬件的選型搭配，保障機器視覺技術(shù)與機器人有效配合的前提是系統(tǒng)整體的合理設(shè)計與安裝布置。
海螺8是某工廠生產(chǎn)的一款攝像頭，其裝配需完成前蓋定位、泡棉上料、透鏡定位安裝、燈板定位安裝鎖附、前端組件定位安裝鎖附等一系列動作，整個過程應(yīng)用了大量機器人與機器視覺聯(lián)合定位引導。如圖4左所示的燈板鎖附工位負責燈板鎖附過程中螺釘?shù)膩砹隙ㄎ慌c引導安裝，由于設(shè)備安裝空間的局限性，項目中選擇了空間需求更小、工位更加節(jié)省、安裝更靈活的活動相機方式。海康機器人自主研發(fā)生產(chǎn)的600萬像素面陣相機配合25mm焦距的500萬鏡頭，連同環(huán)形LED光源安裝在機械臂末端，隨同機械臂一同運動。
圖4 海螺8視覺系統(tǒng)與成像效果
如圖4左所示燈板定位螺釘安裝工位中，螺孔精度為±0.05mm，這對于視覺與機器人配合的精度提出了較高要求。相機連同機械臂在取料位定位螺釘后，機械臂前端的吸鐵石準確吸取螺釘并運動至安裝位;相機在安裝位再次拍照定位螺孔后，螺釘被精確旋緊。
單個螺釘從定位取料到完成安裝整個過程僅耗時不到5秒，且通過視覺定位極大程度提高一次性安裝成功的穩(wěn)定性，避免人工安裝時瞄準螺孔、效率波動帶來的時間耗費，人力成本也得到降低。視覺定位的應(yīng)用，在降低成本的同時優(yōu)化加工工藝、提升產(chǎn)能。
基于合理的硬件選型與空間配置，最終得到穩(wěn)定優(yōu)秀的畫面質(zhì)量(如圖4右所示)。借助?？禉C器人自主研發(fā)的工業(yè)相機客戶端MVS和VM算法平臺，使用模板匹配、圓查找等工具對圖像中的螺孔等特征進行精準分析定位。
標定——精度保障的重要環(huán)節(jié)
在設(shè)備最終投入使用前，還會經(jīng)歷一個重要環(huán)節(jié)——標定，這也是視覺與機器人之間的橋梁。
VM算法平臺中包含成熟的標定算法模塊，能在確保標定流程開發(fā)高效性的基礎(chǔ)上，讓工程師使用完善的標定算法模塊有針對性地為自己量身定制標定程序，以此實現(xiàn)標定流程的簡潔性、準確性和復用性。
在合作伙伴利用VM算法平臺開發(fā)的某一視覺項目中，設(shè)備需要對三個工位上的三臺相機分別進行標定。在精度要求最高、空間條件最好的二工位，即抓取偏移補正工位，固定安裝于機架的下相機完成了對帶有角點(有方向性)的點陣標定板的11個位姿的采圖，并利用VM算法平臺中多點標定模塊快速實現(xiàn)二工位完整的11點標定。一、三工位的相機只需要對標定板進行一次圖像采集，通過對比相同特征在不同采圖中的坐標，得到不同像素級別的相機之間尺度和角度的變換關(guān)系，即通過坐標映射建立與二工位之間的聯(lián)系，完成一、三工位的標定。
圖5 N點標定流程
整個標定流程只需采集13張圖片，在不影響精度的情況下，利用坐標映射極大程度地精簡了標定流程，節(jié)約了開發(fā)和時間成本。至于標定流程本身，如圖5，基于已有的模塊，只需根據(jù)機器人的實際動作在N點標定模塊中設(shè)定N點步進的距離d和旋轉(zhuǎn)角度α并選擇圖像中進行定位的特征，VM算法平臺會自動按照圖示位姿順序完成標定矩陣的計算，供最終圖像坐標向物理坐標轉(zhuǎn)換時使用。其中特征點可以是諸如圖5實例中的圓、角點線段等的任何特征，這也消除了標定板選用的局限性。而旋轉(zhuǎn)角α的引入解決了機械臂末端旋轉(zhuǎn)軸與執(zhí)行元件的不共軸問題。在此基礎(chǔ)上，完成一、三工位的坐標映射乃至更多定制的標定流程，整個過程的開發(fā)周期也會大幅縮短。
軟件配合
視覺系統(tǒng)在軟件層面完成的首要任務(wù)是與設(shè)備動作之間的正常通訊，?？禉C器人聯(lián)手合作伙伴，在眾多項目的實際操作中完成了與ABB、EPSON、FANUC等諸多工業(yè)機器人的成功對接。其次，任何系統(tǒng)的開發(fā)最終都會落實在界面的操作，對于操作員來說，操作界面的友好度同樣是確保設(shè)備正常、高效使用的重要因素。
針對不同客戶自身的應(yīng)用案例需求，VM算法平臺提供多樣性的通訊模塊以應(yīng)對不同的通訊協(xié)議。同樣，VM算法平臺豐富的SDK也為工程師提供了獨立自主開發(fā)軟件的可能性，以契合不同的應(yīng)用場景和客戶需求。如圖6是合作伙伴在一個機器人對位貼合項目中調(diào)用VM算法平臺SDK編寫的軟件界面。
圖6 標定過程采圖
界面主體顯示了相機的實時采圖，右側(cè)功能頁可設(shè)置包括光源、相機、視覺方案在內(nèi)的多種選項，并且隨時可以根據(jù)需求的調(diào)整進行增減。
結(jié)語
人工智能時代，工業(yè)應(yīng)用對機器人的訴求早已突破既定重復的簡單組裝工作，面對當下對“延展性”的更高要求，機器視覺正在逐漸拓寬機器人的應(yīng)用范圍。
本文立足于機器視覺與工業(yè)機器人的結(jié)合，著重介紹了二者在定位引導類項目中的應(yīng)用，并通過硬件系統(tǒng)搭建、標定流程設(shè)計、軟件界面設(shè)計的實際案例，闡釋機器視覺在此類項目開發(fā)中的難點與優(yōu)勢，以期為二者結(jié)合在多領(lǐng)域、深層次的應(yīng)用提供更多寶貴經(jīng)驗。
（轉(zhuǎn)載）
