工業(yè)機器人的定位、抓取任務(wù)是工業(yè)生產(chǎn)線上一項重要的應(yīng)用，一般通過預(yù)先示教的方式讓機器人執(zhí)行預(yù)定的指令動作。但是，一旦工件的狀態(tài)發(fā)生改變時，機器人便無法完成工作任務(wù)。

因此，這種方式在工業(yè)機器人的應(yīng)用中存在很大弊端。在市場需求的牽引下，為機器人添加視覺引導(dǎo)也成為機器人領(lǐng)域的熱點之一，它通過模擬人類的眼睛幫助工業(yè)機器人檢測工件的位置狀態(tài)，再利用視覺信息引導(dǎo)機器人完成定位、抓取任務(wù)。很大程度上克服了傳統(tǒng)工業(yè)機器人的弊端，提高了工業(yè)機器人應(yīng)用的靈活性和實時性。

從本質(zhì)上講，機器視覺系統(tǒng)就是在工業(yè)環(huán)境中引導(dǎo)機器人、測量物品、統(tǒng)計物品、讀取條碼、字母和數(shù)字，以及檢測缺陷。在任何機器視覺應(yīng)用中，無論是最簡單的裝配檢驗，還是復(fù)雜的3D機器人箱子拾取應(yīng)用，通常第一步都是采用圖案匹配技術(shù)定位相機視場內(nèi)的興趣物品或特征，興趣物品的定位往往決定機器視覺應(yīng)用的成敗，所以機器視覺應(yīng)用前的準備工作至關(guān)重要。

視覺引導(dǎo)機器人定位抓取

視覺引導(dǎo)機器人定位抓取系統(tǒng)是利用機器人視覺實現(xiàn)工件抓取點的視覺定位，再將定位數(shù)據(jù)發(fā)送工業(yè)機器人，實現(xiàn)由視覺信息引導(dǎo)機器人定位到工件的抓取點并完成抓取任務(wù)的系統(tǒng)。系統(tǒng)框架主要由機器人視覺、 上位機、工業(yè)機器人和抓取目標組成。其中，機器人視覺包括相機、鏡頭、光源和視覺軟件，主要負責(zé)圖像采集和圖像處理實現(xiàn)工件抓取點的視覺定位。上位機負責(zé)通過以太網(wǎng)將工件抓取點的位置數(shù)據(jù)發(fā)送給工業(yè)機器人，最后， 機器人接收工件抓取點的定位數(shù)據(jù)，實現(xiàn)視覺信息通過控制器引導(dǎo)機器人本體運動到工件抓取點，并由機器人的工具完成抓取、 放置工件的任務(wù)。

視覺引導(dǎo)和定位

機器視覺采用先進的圖像視覺檢測技術(shù)，對高速運動的工業(yè)產(chǎn)品進行實時全面的視覺定位分析，此功能主要用于自動裝配及生產(chǎn)。機器人視覺引導(dǎo)—引導(dǎo)是使用機器視覺來報告組件的位置和方向。在自動化生產(chǎn)流水線中，通過機器視覺系統(tǒng)實時了解機器人在操作過程中、工作環(huán)境中的變化，并作出相應(yīng)調(diào)整動作以保證任務(wù)的正確完成。機器人視覺定位—要求機器視覺系統(tǒng)能夠快速準確的找到被測零件并確認其位置，上下料使用機器視覺來定位，引導(dǎo)機械手臂準確抓取。機器視覺引導(dǎo)就是使用機器視覺報告元件的位置和方向。

需要引導(dǎo)的原因

1、機器視覺系統(tǒng)可以定位元件的位置和方向，將元件與指定的公差進行比較，并確保元件處于正確的角度以驗證元件是否正確組裝。

2、引導(dǎo)可用于將元件在2D或3D空間內(nèi)的位置和方向報告給機器人或機器控制器，讓機器人能夠定位元件或機器，以便對齊元件。

3、與在許多任務(wù)中進行手動定位相比，機器視覺引導(dǎo)可以實現(xiàn)更高的速度和精度。例如將元件放在托盤上或從托盤上取下元件；對傳送帶上的元件進行包裝；對元件進行定位和對位，以便與其他零件組裝在一起；將元件放在工作架上；或從包裝盒中取出元件。4、引導(dǎo)也可以與其他機器視覺工具配合使用，這是機器視覺的非常強大的功能。因為在生產(chǎn)過程中，元件可能會以未知的方向呈現(xiàn)給相機。通過定位元件并將其他機器視覺工具與該元件對齊，機器視覺可以實現(xiàn)自動工具定位。

機器視覺元件定位的重要性

在機器視覺應(yīng)用之前，元件定位是非常關(guān)鍵的第一步。如果圖案匹配軟件工具無法在圖像中準確定位元件，則它將無法引導(dǎo)，識別，驗證，計數(shù)或測量元件。盡管聽起來很簡單，但是在實際生產(chǎn)環(huán)境中，元件外觀上的差異可能會使這一步驟變得非常困難。因照明或遮擋而出現(xiàn)的外觀變化可能導(dǎo)致元件定位變得困難，雖然視覺系統(tǒng)經(jīng)過培訓(xùn)，基于圖案來識別元件，但即使是最嚴格控制的流程，也允許元件外觀存在一定的變化。元件呈現(xiàn)或姿勢畸變影響也可能導(dǎo)致元件定位變得困難要實現(xiàn)精確、可靠、可重復(fù)的結(jié)果，視覺系統(tǒng)的元件定位工具必須具備足夠的智能，能夠快速、精確地將培訓(xùn)圖案與生產(chǎn)線上移動過來的實際物品進行比較。

案例應(yīng)用

從測量、識別、檢測等角度出發(fā)全方位進行定位和引導(dǎo)的研究，通過對圖片中的不同類別、位置的對象進行定位和分類，實現(xiàn)對圖片不同缺陷特征的定位和檢測。通過標注，即可建立目標模板，經(jīng)過深度學(xué)習(xí)訓(xùn)練，便可解決平移、旋轉(zhuǎn)、縮放和光線等影響?？蓪W(xué)習(xí)圖像中的多個目標，并同時檢測，給出所有被識別目標的位置和定義。根據(jù)具體問題具體分析，提出各類機器視覺技術(shù)定位與引導(dǎo)方案，較低成本地解決各類定位與引導(dǎo)的技術(shù)問題。手機外殼無序抓取、定位引導(dǎo)方面的應(yīng)用。

手機作為移動互聯(lián)網(wǎng)的主要終端，需求量逐年遞增，所以手機外觀是質(zhì)量的一個重要指標，消費者對于手機質(zhì)量也提出了更高的品質(zhì)要求。傳統(tǒng)的手機檢測采用人工檢測的方法，這種方法檢測效率低下，易疲勞，難以長期持續(xù)化生產(chǎn)，增加勞動力成本，由于人工主觀因素，產(chǎn)品一致性和穩(wěn)定性難以保證，生產(chǎn)信息也難以統(tǒng)計和追溯，很難滿足現(xiàn)在制造業(yè)對產(chǎn)品生產(chǎn)過程自動化和信息化的要求。

低代碼開發(fā)平臺可實現(xiàn)不同姿態(tài)和不同位置無序抓取的定位引導(dǎo)。

工作流程

產(chǎn)品移動到拍照工位；

觸發(fā)相機對手機殼進行拍照；

視覺軟件識別圖像特征，對手機殼定位；

發(fā)送手機殼指定中心坐標信息給機械手或PLC；

機械手移動準確抓取手機殼。機器視覺引導(dǎo)在許多任務(wù)中都能夠?qū)崿F(xiàn)比人工定位高得多的速度和精度，比如將元件放入貨盤或從貨盤中拾取元件；對輸送帶上的元件進行包裝；對元件進行定位和對位，以便將其與其他部件裝配在一起；將元件放置到工作架上；或者將元件從箱子中移走等。