でたらめ選択がどのくらい有り得るものなのか(前編)

音響心理実験で「2つ聞こえた音は同じものですか?」という問いに対して「はい」か「いいえ」で答えさせるタイプの実験があります。たとえば、CDからリッピングしただけのWAVファイルと、それをMP3化したものの音質が聞き分けられるかを調べたりする実験なんかがこれに当てはまります。さて、この実験を1人の実験参加者に例えば10回行ったとき、いったい何回以上正解すれば「この人はちゃんと聞き分けられている」と言えるのでしょうか? 5回正解であればでたらめな選択だったと言えるでしょうし、10回正解なら聞き分けが出来ていると言っていいでしょう。では7回や8回ならどうでしょう? この疑問は、統計学が始まるきっかけになったと言われている「ミルクティーはミルクが先に注がれるのと紅茶が先に注がれるのとで味は変わるのだろうか」という疑問に対して答えようとした19世紀の数学者たちにまでさかのぼることが出来るのだそうです。

この問題は、高校数学で出てくる2項分布の問題です。2分の1の確率ででたらめに選択を行ったとき、何回正解することが出来るか、確率が求まります。xを成功回数、nを試行回数、pを成功確率とすると
P[X=x] = \frac{n!}{x!(n-x)!}p^x(1-p)^{n-x}
のような数式を使うことで確率が計算できます。たとえば、3択問題で10回のうち4回だけ正解の確率は
\frac{10!}{4!(10-4)!}\cdot(\frac{1}{3})^4\cdot (1-\frac{1}{3})^{10-4} = 0.22761
となります。

最初に書いた実験では、たとえば「8回以上正解の確率」などを累積分布を使って求めます。つまり、「全試行の確率」から「0回成功〜7回成功の確率の和」を引き算して計算をするわけです。今回はOctaveで同様のことをやってみます。Octaveにはすでに2項分布の累積関数が用意されていて、

binocdf(x, n, p)

と書けます。上記の例で、でたらめに0回以上〜10回以上成功する確率を求めると

>> 1 - binocdf(5:9, 10, 1/2)
ans =
   0.99902   0.98926   0.94531   0.82812   0.62305   0.37695   0.17188   0.05469   0.01074   0.00098   0.00000

のようになります。これは、まったくでたらめに回答した結果x回正解する確率を表していますので、たとえば10回のうち8回は成功させたとすると、その確率は0.01074。つまり全くでたらめに実験をやったとしても、100度の実験のうち1度くらいは8回成功する場合もある、ということ。逆に、真剣にやって8回も当たれば、おそらくまぐれじゃないだろう、と言えるわけです。