視覚に次いで我々にとって重要な感覚は聴覚であろう。我々は声を聴いただけである程度人物情報を類推するし、救急車、警察車両のサイレンを聴かないならば重大な過失を犯すことにもなりかねない。加えて音楽を聴けないとすると、我々の生活から潤いが失われてしまうだろう。
聴覚のモダリティーは空間物質の粗密である。
我々人間はせいぜい２０Ｈｚから２０ｋＨｚの粗密すなわち振動の感覚しか感じないけれども、ゾウやクジラはもっと低い振動を感じられるし、コウモリはもっと高い振動を感じることができる。しかし、ここでは人間の聴覚のみを扱うこととする。
視覚における電磁波と同様、音には高さと大きさという属性がある。前者を「ピッチ」、後者を「ラウドネス」と呼ぶ。
２つ耳があることは、我々にとって重要な意味を持っている。右耳と左耳の間はおよそ１７センチ離れていて、音の到達測度の時間差が、その音はどこから来たかの手がかりになっている。これを「音源定位」と言う。だが不幸にして真正面、真後ろ、真上、真下から来る音には原理的に音源定位できない。しかし我々はそうだからといってそう言った方向から来る音の音源定位に困っている訳ではない。我々は頭を回転させることでこの問題に解決を与えているのが現実である。
次に「音が聴こえる」仕組みについて説明する。
耳の構造は鼓膜までの外耳道－（あぶみ、つち、きぬたの３種の）耳小骨がある中耳－蝸牛がある内耳というふうになっていて中耳と内耳の境目のところに前庭窓という器官があり、まず空気の粗密波である音が鼓膜を振動させ、それが耳小骨に伝えられる。振動した耳小骨は内耳の蝸牛に振動を伝え、その中にある基底膜と言う非常に敏感な器官に伝わる。このとき、前庭窓にかかる圧力は基底膜の反対にある鼓室窓がクッションとなって和らげられる。
音を神経エネルギーに変えるのは、その中にある蓋膜と基底膜の運動が若干異なることによって折れ曲がったり伸びたりする有毛細胞の先端である線毛がある「コルチ器」である。高い音ほど前庭窓に近い領域を変位させ、低い音ほど蝸牛頂側を変位させることが分かっている。コルチ器の線毛が振動を神経インパルスに変えている訳である。
音の聞こえるメカニズムには既に触れた場所説と音波の刺激中の音圧の時間的増減によって聴神経の活動が増減するという斉射説の対立が見られるが、低い音では斉射説が、それ以外では場所説が説明原理たり得る、とする折衷派の立場もある。