心理学的調査、実験などで重要なランダムサンプリング(無作為抽出)について述べる。
ある集団(母集団)からたまたまの確率で被検者を選ぶことをランダムサンプリングという。心理学の研究ではたとえば刺激の順序によってデータに偏りが出ることがある。これを「系列位置効果」と呼ぶ。他に成績の良い生徒だけをサンプルに取って一般化してしまう誤りや、大学生だけを被検者に選ぶことによって、結果を一般化する際に大学にいることによる独特の効果を無視してしまう誤りなどが考えられる。またある処遇を受けたひとを高い割合で被検者に選ぶとか、快く回答に応じた被調査者だけのデータから回答に応じなかったひとたちについても一般化してしまう問題、男女差を無視してしまう問題などが考えられる。
上記のような問題を回避するためには、系列位置効果が出ないようにするために、さまざまな順番で実験を行ったり、偏りのないデータを取るために被検者をたとえば謝礼を支払うことを条件に郵便番号1つにつき1人選んだりして、データの無作為化をはかることが重要である。このように無作為化した被検者について標本を取る実験を「実験」と呼び、そうでない実験を「準実験」と呼ぶ。
「実験」のなかで実験群と統制群を用いて因果関係を求めるような場合、このことはとても重要である。なぜなら、実験という処遇の効果を純粋に抽出しなければならないからである。
さらに実験に関しては次のような注意が必要である。独立変数(条件変数あるいは説明変数)と従属変数(結果変数あるいは目的変数)を設定したとしてもそれは見かけ上のことで、仲介変数が真の説明変数である場合がある。たとえば、統一算数テストなどでの算数の成績が身長を説明することがある。この場合仲介変数である年齢が真の独立変数であるような場合である。したがって、実験や調査をするさいにはなにが真の説明変数かを見極める必要がある。また、何を母集団として仮定するかによって、標本抽出が変わるので、そのことに対しても配慮が必要である。