画像が何を表しているかを理解すること．歴史的には，1970年代のアメリカのプロジェクト名に由来する．まず，音声を単語として認識するだけでなく，文章として理解する音声理解プロジェクトがあり，ついで一つの画像に複数の対象物を含む場合を扱う画像理解プロジェクトが始められた．これも，狭義のパターン認識の枠を出ることが目的である．画像理解の対象は，屋外シーンのように多様で複雑なため従来手法では困難であるものが多いが，おもに人工物を対象とする物体認識も画像理解に含まれる．その処理過程は，まず対象シーンから，カラー画像や距離画像を入力し，画像から特徴抽出を行う，つぎに，画像の特徴からシーン中のものを切出したり，切出す前に個々のもののモデルと照合したりする．シーン中の個々のものも多様であるため，そのモデルは構成要素の性質とほかの構成要素の関係によって表される．また，道路と自動車のように個々のものが独立でない場合は，それらの関係もモデルに含まれる．このようにモデルが複雑になるので，確率的あるいはそれ以外の何らかの不確かさを含ませることがある．画像理解の過程でも，不確かさを持ったまま処理を進め，最も確からしい答を求めることが多い．他種類の入力画像を用いたり，視覚以外の情報を用いるセンサフュージョンや，カメラを動かして信頼性を上げるアクティブビジョンの方法も取入れられている．