機器人傳感系統(tǒng)是機器人與外界進行信息交換的主要窗口，機器人根據(jù)布置在機器人身上的不同傳感元件對周圍環(huán)境狀態(tài)進行瞬間測量，將結(jié)果通過接口送入單片機進行分析處理，控制系統(tǒng)則通過分析結(jié)果按預(yù)先編寫的程序?qū)?zhí)行元件下達(dá)相應(yīng)的動作命令。

視覺傳感系統(tǒng)是機器人的各種類型的眼睛。它可以是兩架電子顯微鏡，也可以是兩臺攝像機，還可以是紅外夜視儀或袖珍雷達(dá)。這些視覺傳感器有的通過接收可見光變?yōu)殡娦畔?，有的通過接收紅外光變?yōu)殡娦畔?，有的本身就是通過電磁波形成圖像。它們可以觀察微觀粒子或細(xì)菌世界，觀看幾千度高溫的爐火或鋼水，在黑暗中看到人看不到的東西。機器人的視覺傳感系統(tǒng)要求可靠性高、分辨力強、維護安裝簡便。聽覺傳感系統(tǒng)是一些高靈敏度的電聲變換器，如各種“麥克風(fēng)”，它們將各種聲音信號變成電信號，然后進行處理，送入控制系統(tǒng)。觸覺傳感系統(tǒng)即各種各樣的機器人手，手上裝有各類壓敏、熱敏或光敏元器件。不同用途的機器人，具有的手大不相同，如用于外科縫合手術(shù)的，用于大規(guī)模集成電路焊接和封裝的，殘廢人的假肢，專提拿重物的大機械手，能長期在海底作業(yè)的采集礦石的地質(zhì)手等。嗅覺傳感系統(tǒng)是一種“電子鼻”。它能分辨出多種氣味，并輸出一個電信號;也可以是一種半導(dǎo)體氣敏電阻，專門對某種氣體作出迅速反應(yīng)。在機器人觸覺傳感系統(tǒng)中還有各種各樣的機器人腳，如人行足、四只足、有輪胎足、有履帶足、蛙式足、節(jié)肢動物足，還有像蛇爬行的足等，這些“足”上都裝有光敏、熱敏等傳感元器件。

機器人感知系統(tǒng)把機器人各種內(nèi)部狀態(tài)信息和環(huán)境信息從信號轉(zhuǎn)變?yōu)闄C器人自身或者機器人之間能夠理解和應(yīng)用的數(shù)據(jù)、信息，除了需要感知與自身工作狀態(tài)相關(guān)的機械量，如位移、速度、加速度、力和力矩外，視覺感知技術(shù)是工業(yè)機器人感知的一個重要方面。

視覺伺服系統(tǒng)將視覺信息作為反饋信號，用于控制調(diào)整機器人的位置和姿態(tài)。這方面的應(yīng)用主要體現(xiàn)在半導(dǎo)體和電子行業(yè)。機器視覺系統(tǒng)還在質(zhì)量檢測、識別工件、食品分揀、包裝的各個方面得到了廣泛應(yīng)用。

通常，機器人視覺伺服控制是基于位置的視覺伺服或者基于圖像的視覺伺服，它們分別又稱為三維視覺伺服和二維視覺伺服，這兩種方法各有其優(yōu)點和適用性，同時也存在一些缺陷。

基于位置的視覺伺服系統(tǒng)，利用攝像機的參數(shù)來建立圖像信息與機器人末端執(zhí)行器的位置/姿態(tài)信息之間的映射關(guān)系，實現(xiàn)機器人末端執(zhí)行器位置的閉環(huán)控制。

末端執(zhí)行器位置與姿態(tài)誤差由實時拍攝圖像中提取的末端執(zhí)行器位置信息與定位目標(biāo)的幾何模型來估算，然后基于位置與姿態(tài)誤差，得到各關(guān)節(jié)的新位姿參數(shù)?；谖恢玫囊曈X伺服要求末端執(zhí)行器應(yīng)始終可以在視覺場景中被觀測到，并計算出其三維位置姿態(tài)信息。消除圖像中的干擾和噪聲是保證位置與姿態(tài)誤差計算準(zhǔn)確的關(guān)鍵。

二維視覺伺服通過攝像機拍攝的圖像與給定的圖像(不是三維幾何信息)進行特征比較，得出誤差信號。然后，通過關(guān)節(jié)控制器和視覺控制器和機器人當(dāng)前的作業(yè)狀態(tài)進行修正，使機器人完成伺服控制。相比三維視覺伺服，二維視覺伺服對攝像機及機器人的標(biāo)定誤差具有較強的魯棒性，但是在視覺伺服控制器的設(shè)計時，不可避免地會遇到圖像雅克比矩陣的奇異性以及局部極小等問題。

針對三維和二維視覺伺服方法的局限性，有人提出了2.5維視覺伺服方法。它將攝像機平動位移與旋轉(zhuǎn)的閉環(huán)控制解耦，基于圖像特征點，重構(gòu)物體三維空間中的方位及成像深度比率，平動部分用圖像平面上的特征點坐標(biāo)表示。

這種方法能成功地把圖像信號和基于圖像提取的位姿信號進行有機結(jié)合，并綜合他們產(chǎn)生的誤差信號進行反饋，很大程度上解決了魯棒性、奇異性、局部極小等問題。但是，這種方法仍存在一些問題需要解決，如怎樣確保伺服過程中參考物體始終位于攝像機視野之內(nèi)，以及分解單應(yīng)性矩陣時存在解不唯一等問題。

在建立視覺控制器模型時，需要找到一種合適的模型來描述機器人的末端執(zhí)行器和攝像機的映射關(guān)系。圖像雅克比矩陣的方法是機器人視覺伺服研究領(lǐng)域中廣泛使用的一類方法。圖像的雅克比矩陣是時變的，所以，需要在線計算或估計。

第一點動態(tài)感知

機器人視角不動后，會出現(xiàn)不會動的事物和會動的事物，這里ai會在一秒內(nèi)拍攝多組照片，先進行固定顏色和形狀進行識別比如車牌藍(lán)色，樹木綠色等，不同照片進行對比， 提示機器人可能好幾年在一個范圍進行活動，有時間進行拍攝無人的街頭，以這張無人的街頭環(huán)境照片為零號底片，和工作時的拍攝照片進行對比，更容易對比出動態(tài)的事物，

第二點距離感知

人體認(rèn)識物體距離是依靠自身大小，與事物常識性，眼睛焦距變化，來判斷的，最重要的是眼睛焦距變化，因此機器人算法可以與可變焦距攝像頭的焦距變化來測定距離，配合著激光距離測定，相互配合，在識別距離上有用，另外機器人行走會出現(xiàn)1、機器人自身視覺點，和2、要識別的物體，與3、識別物體背景，行成一條三點直線，機器人任意方向行走一步，便形成了X形狀的二維視角，X的交叉點就是要識別的物體，根據(jù)激光測試距離與二維視角，兩者互相印證，這里的算法就不說了。自己想

第三點空間識物

在識別要識別的物體確定距離后，機器人行走會出現(xiàn)之前說過的二維視角，類似于X形狀，可以之前第二點距離將物體的形狀描述出來。

第四點事物的識別

人的識物方式有，視覺，聽覺，溫度，重量，其中視覺是根據(jù)顏色，形狀，結(jié)構(gòu)，進行識別物體的，我們平常是不會把物體的精確數(shù)據(jù)存儲在大腦中，只有大概的形狀，和知道的一些常識性問題，比如掃把的形狀，樹木的形狀，車子的形狀，汽車輪胎的四個體積都是一樣的。等。。。。機器人可能好幾年在一個范圍進行活動，并且一些東西是好幾年不會變化，機器人便可以記錄該事物的數(shù)據(jù)，機器人識物方式有，視覺，聽覺，溫度，重量，其中視覺是可以和我之前的說的人的識物方法一樣，“我們平常是不會把物體的精確數(shù)據(jù)存儲在大腦中，只有大概的形狀，和知道的一些常識性問題，比如掃把的形狀，樹木的形狀，車子的形狀，汽車輪胎的四個體積都是一樣等。。。。”一些具體的數(shù)據(jù)可以進行云數(shù)據(jù)來解決。