機(jī)器人傳感系統(tǒng)是機(jī)器人與外界進(jìn)行信息交換的主要窗口，機(jī)器人根據(jù)布置在機(jī)器人身上的不同傳感元件對(duì)周圍環(huán)境狀態(tài)進(jìn)行瞬間測(cè)量，將結(jié)果通過(guò)接口送入單片機(jī)進(jìn)行分析處理，控制系統(tǒng)則通過(guò)分析結(jié)果按預(yù)先編寫(xiě)的程序?qū)?zhí)行元件下達(dá)相應(yīng)的動(dòng)作命令。

機(jī)器人的傳感系統(tǒng)包括視覺(jué)系統(tǒng)、聽(tīng)覺(jué)系統(tǒng)、觸覺(jué)系統(tǒng)、嗅覺(jué)系統(tǒng)以及味覺(jué)系統(tǒng)等。這些傳感系統(tǒng)由一些對(duì)圖像、光線、聲音、壓力、氣味、味道敏感的交換器即傳感器組成。

人所獲得外界信息的80%是靠視覺(jué)得到的，機(jī)器也類似。機(jī)器視覺(jué)本質(zhì)上是為機(jī)器植入“眼睛”，利用環(huán)境和物體對(duì)光的反射來(lái)獲取和感知信息。

視覺(jué)傳感器是一種使用光電傳感器件來(lái)獲取物體圖像的設(shè)備，它能夠?qū)⑽矬w圖像轉(zhuǎn)化為數(shù)字信號(hào)，并且對(duì)圖像進(jìn)行處理和分析。視覺(jué)傳感器的工作過(guò)程包含檢測(cè)、分析、描繪和識(shí)別四部分：視覺(jué)檢測(cè)主要利用圖像信號(hào)輸入設(shè)備，將視覺(jué)信息轉(zhuǎn)換成電信號(hào);視覺(jué)圖像分析是把攝取到的所有信號(hào)去掉雜波及無(wú)價(jià)值像素，重新把有價(jià)值的像素按線段或區(qū)域等排列成有像素集合;視覺(jué)描繪和識(shí)別是從物體圖像中提取特征，給予標(biāo)志。

根據(jù)圖像信息獲取維度、處理數(shù)據(jù)類型的不同，機(jī)器視覺(jué)可劃分為 2D 視覺(jué)與 3D 視覺(jué)。2D 視覺(jué)通過(guò)工業(yè)相機(jī)來(lái)獲取平面圖片，主要基于物體的一個(gè)平面特征進(jìn)行后續(xù)分析，無(wú)法獲取物體的空間坐標(biāo)信息。3D 視覺(jué)能夠采集視野內(nèi)空間每個(gè)點(diǎn)位的三維坐標(biāo)信息，通過(guò)算法獲取三維立體成像，并根據(jù)這些數(shù)據(jù)信息分析得出有關(guān)目標(biāo)對(duì)象在空間中的位置、形狀、體積、平面度等信息，以達(dá)到檢測(cè)、引導(dǎo)、測(cè)量、定位等功能。

隨著智能制造的不斷深入，面對(duì)復(fù)雜的物件辨識(shí)和尺寸量度任務(wù)，以及人機(jī)互動(dòng)所需要的復(fù)雜互動(dòng)，2D 視覺(jué)在精度和距離測(cè)量方面均出現(xiàn)部分技術(shù)局限，市場(chǎng)對(duì) 3D 視覺(jué)的需求開(kāi)始與日俱增。在人形機(jī)器人應(yīng)用領(lǐng)域，3D 視覺(jué)傳感器可以幫助機(jī)器人高效完成人臉識(shí)別、距離感知、避障、導(dǎo)航等功能，使其更加智能化。

機(jī)器人感知系統(tǒng)把機(jī)器人各種內(nèi)部狀態(tài)信息和環(huán)境信息從信號(hào)轉(zhuǎn)變?yōu)闄C(jī)器人自身或者機(jī)器人之間能夠理解和應(yīng)用的數(shù)據(jù)、信息，除了需要感知與自身工作狀態(tài)相關(guān)的機(jī)械量，如位移、速度、加速度、力和力矩外，視覺(jué)感知技術(shù)是工業(yè)機(jī)器人感知的一個(gè)重要方面。

視覺(jué)伺服系統(tǒng)將視覺(jué)信息作為反饋信號(hào)，用于控制調(diào)整機(jī)器人的位置和姿態(tài)。這方面的應(yīng)用主要體現(xiàn)在半導(dǎo)體和電子行業(yè)。機(jī)器視覺(jué)系統(tǒng)還在質(zhì)量檢測(cè)、識(shí)別工件、食品分揀、包裝的各個(gè)方面得到了廣泛應(yīng)用。

通常，機(jī)器人視覺(jué)伺服控制是基于位置的視覺(jué)伺服或者基于圖像的視覺(jué)伺服，它們分別又稱為三維視覺(jué)伺服和二維視覺(jué)伺服，這兩種方法各有其優(yōu)點(diǎn)和適用性，同時(shí)也存在一些缺陷。

基于位置的視覺(jué)伺服系統(tǒng)，利用攝像機(jī)的參數(shù)來(lái)建立圖像信息與機(jī)器人末端執(zhí)行器的位置/姿態(tài)信息之間的映射關(guān)系，實(shí)現(xiàn)機(jī)器人末端執(zhí)行器位置的閉環(huán)控制。

末端執(zhí)行器位置與姿態(tài)誤差由實(shí)時(shí)拍攝圖像中提取的末端執(zhí)行器位置信息與定位目標(biāo)的幾何模型來(lái)估算，然后基于位置與姿態(tài)誤差，得到各關(guān)節(jié)的新位姿參數(shù)?；谖恢玫囊曈X(jué)伺服要求末端執(zhí)行器應(yīng)始終可以在視覺(jué)場(chǎng)景中被觀測(cè)到，并計(jì)算出其三維位置姿態(tài)信息。消除圖像中的干擾和噪聲是保證位置與姿態(tài)誤差計(jì)算準(zhǔn)確的關(guān)鍵。

二維視覺(jué)伺服通過(guò)攝像機(jī)拍攝的圖像與給定的圖像(不是三維幾何信息)進(jìn)行特征比較，得出誤差信號(hào)。然后，通過(guò)關(guān)節(jié)控制器和視覺(jué)控制器和機(jī)器人當(dāng)前的作業(yè)狀態(tài)進(jìn)行修正，使機(jī)器人完成伺服控制。相比三維視覺(jué)伺服，二維視覺(jué)伺服對(duì)攝像機(jī)及機(jī)器人的標(biāo)定誤差具有較強(qiáng)的魯棒性，但是在視覺(jué)伺服控制器的設(shè)計(jì)時(shí)，不可避免地會(huì)遇到圖像雅克比矩陣的奇異性以及局部極小等問(wèn)題。

針對(duì)三維和二維視覺(jué)伺服方法的局限性，有人提出了2.5維視覺(jué)伺服方法。它將攝像機(jī)平動(dòng)位移與旋轉(zhuǎn)的閉環(huán)控制解耦，基于圖像特征點(diǎn)，重構(gòu)物體三維空間中的方位及成像深度比率，平動(dòng)部分用圖像平面上的特征點(diǎn)坐標(biāo)表示。

這種方法能成功地把圖像信號(hào)和基于圖像提取的位姿信號(hào)進(jìn)行有機(jī)結(jié)合，并綜合他們產(chǎn)生的誤差信號(hào)進(jìn)行反饋，很大程度上解決了魯棒性、奇異性、局部極小等問(wèn)題。但是，這種方法仍存在一些問(wèn)題需要解決，如怎樣確保伺服過(guò)程中參考物體始終位于攝像機(jī)視野之內(nèi)，以及分解單應(yīng)性矩陣時(shí)存在解不唯一等問(wèn)題。

在建立視覺(jué)控制器模型時(shí)，需要找到一種合適的模型來(lái)描述機(jī)器人的末端執(zhí)行器和攝像機(jī)的映射關(guān)系。圖像雅克比矩陣的方法是機(jī)器人視覺(jué)伺服研究領(lǐng)域中廣泛使用的一類方法。圖像的雅克比矩陣是時(shí)變的，所以，需要在線計(jì)算或估計(jì)。