もし我々が視空間の奥行きを感じられなかったとすると、どうなるだろうか。100メートル先のものがそうは感じられないであろうし、常に「何かにぶつかるのではないか」と言う不安を抱えながら生きていくことだろう。
我々の網膜像は2次元的で、奥行き知覚は不可能なはずである。しかし、我々は奥行きを感じることができる。なぜなのであろうか。
ひとつには目が左右に離れているために微妙な左右の結像の差違が生じ、奥行きを知覚できると言う説明が可能である。このことを「両眼視差」と言う。
しかし、両眼視差だけで奥行き知覚を説明するのには難がある。対象が比較的近ければ、両眼視差だけで遠近の知覚が可能かも知れないが、対象が遠くにある場合、両眼視差は限りなくゼロに近づき、奥行きが感じられる可能性はきわめて低くなる。
では他に何が奥行き知覚を可能にしているのであろうか。列挙してみよう。
まず輻輳が挙げられる。輻輳とは両眼の視覚のなす角度のことで、外眼筋の司る眼球運動の情報から奥行きを推定できる。次に調節が挙げられる。目の毛様体筋による水晶体の調節情報から奥行きを感じることができる。また、輪郭も物体の表面曲率を推定するための重要な情報である。遮蔽も奥行き知覚に貢献する。何かが何かによって見えないとき、見えない側の対象の方が遠くにあると推定できる。また、現実の空間では線路の真ん中に立って線路を見るときのように、平行であるはずのものが放射状に見えることも奥行き知覚には貢献している。また、遠くの対象は光の散乱によってぼやけ、これも奥行きの手がかりとなる。前者を線遠近法、後者を大気遠近法という。肌理が均一な対象は近くになるにつれて肌理が粗くなるのでこれも奥行きの手がかりとなる。これを肌理の勾配と言う。また、大きさの恒常性で触れたとおり、対象は遠くにあるほど小さく見えると言う大きさも奥行き知覚を可能にする要因と考えられる。光源から対象に当たる光の陰影も、奥行き知覚に使われる。また、それによって作られる影も角度が変わるにつれ変化するので、これも奥行き知覚に使える。
以上、奥行き知覚に貢献する手がかりを列挙したが、対象が網膜像に投影されることを「順光学」、奥行き知覚のように網膜像から対象を推定することを「逆光学」と言う。
我々は、2次元的網膜像からいかにして正確な3次元空間を復元するか、と言う問題に脳内の計算を含めてきわめて多彩な方法で逆光学の問題を日々解きながら生活している。これに正面から挑んだ問題が錯視であり、脳内の計算法を逆手にとって我々の日常の知覚を明らかにしようとする試みであると言うことができる。