手に相当するマニピュレータと目に相当するロボット視覚とを結合することにより，環境や状況の変動に対して適応機能を持つロボットシステムのこと．ロボット視覚により，対象物の位置，姿勢，形状，状態などを認識し，その結果に基づいてマニピュレータを駆動して作業を行う．視覚認識の柔軟性，信頼性，高速性が課題である．特に，視覚情報に基づき連続的にマニピュレータを駆動するビジュアルサーボでは，高速画像処理が不可欠となる．初期の知能ロボット研究では，電子技術総合研究所で箱に積み木を挿入する作業を，さらにマサチューセッツ工科大学では，照度差ステレオ法により対象物の位置・姿勢を求め，対象を順次つかみ上げるビンピッキング作業を，また，東京大学ではひもを結ぶ作業を行うハンド・アイシステムを構築している．