【ウェブユーザビリティ洞察】ユーザー調査の証拠の説得力……ニールセン博士のAlertbox

　ユーザビリティ調査等のユーザー調査からの提言を信頼してよいのはどういうときなのか。

　この疑問が生じる状況とは主に以下の2つである：

・自分で行う調査を計画するとき。プロジェクトに与える影響を最大限にするように、調査資金の優先順位をつける必要がある。そうすることで利益の高いデザインを導き出す確率が高まる。
・外部で行われた調査を解釈するとき。重要なのは他者による調査結果がどの程度信頼できるものなのかを知ることだ。つまり、自分のところのデザインについての判断を外部の調査に基づいて行っても大丈夫なのか。調査結果が対立するとき、どの調査を信頼すればよいのか。

　幸いにも、どちらの状況でも答えはほぼ同じだ。信頼すべき調査とは投資すべき調査と同じ、つまり、幅広く多様な基盤から結論を導き出す調査、である。

　この2つの状況における主な違いとは、ROIを考慮することによって自分のところの調査にかかる資金を減らせることにある。間違いなく正しいかを確認するための、サンプルサイズ等にかかる費用は無駄なものだからである。したがって、調査からの提言が、例えば、統計的分析によると10％の確率で間違っていることが示されたとしても、それを実行に移したほうがよい。90％の確率を持つ正しいデザインにするほうが、目標の見えない状態でデザインしたり、調査による恩恵を受けていないデザインをしたりするよりはましだからである。

（間違ってもらっては困るが、もし自分たちで行う調査に完璧を求めると、調査自体がまったくできなくなってしまう。すべての細かいデザイン決定に関する調査まで網羅する予算は誰にもないからだ。したがって、唯一の現実的な選択とは、調査をしないか、ほどほどの内容の調査の調査を行うかしかない、たとえ、調査としては不完全であろうとも、だ。多少なりともデータが取れる選択肢を選ぼう。推測で決めるよりはずっとましだからである)。

数字には説得力がある？

　調査の証拠の説得力を判断するとき、たいていの人が考慮する要素の1つが、通称Nとして知られているサンプルサイズである。これは何人の人がその調査に参加したかをさす。また、もう1つの判断材料としては、pと呼ばれることが多い統計的有意差のレベルもある。

　しかしながら、調査結果に関して言えば、大きなNあるいは小さなpは有効性の指標としてはむちゃくちゃなものである。

　そう、統計的な有意差は正確に算出することが可能だ。しかし、そこからわかることは、それほど重要でないものだけ、つまり、まったく同じ実験をもう一度行うことによって、どのくらいの確率で同じ結果が得られるか、だけである。

　極めて重要なことだが、その実験が正しく行われたのかどうか、あるいはあなた方の抱えるデザイン上の課題について何か予測をしてくれるものなのかどうかは、ここからは何もわからない。そして、この2つの論点は調査結果を信頼できるかどうかを決定する際には不可欠なものである。