k-takahashi's blog

個人雑記用

ダメな統計学

ダメな統計学: 悲惨なほど完全なる手引書

ダメな統計学: 悲惨なほど完全なる手引書


統計を悪用・誤用することを戒める本の定番入門書は、ハフの「統計でウソをつく法」*1、最近の本だと「数学ガールの秘密ノート/やさしい統計」*2あたりだろう。
本書はもう少し突っ込んで書かれており、想定読者は実際に統計処理をツールとしている研究者やその道を目指す学生、研究結果を評価する事務官とかの人。


p値は統計ソフトから簡単に出すことができるが、その意味を正しく理解して実験を設計しているだろうか? というのが一つ大きな課題として示されている。
もし、「信頼区間」(点推定に推定の不確かさを加えたもの)、「検定力」(有意な結果が得られる確率)、「基準率」(本当に有効なものの割合)などの言葉を知らずにp値を使っているとしたら、すでにかなり危ない状態。


白状すると、「え、そうなの?」と思って読み直すところが何カ所もあった。
もちろん、悪意のある捏造から、実験設計ミス、ついやってしまったバイアス、小さなミスまで様々ではあるのだが、いかにもやりがちな間違いや勘違いが色々と書かれている。
それがツールの使い方の間違いならそれほど問題ではない(技術の問題はいずれ技術が解決する)のだが、人間の考えをツールがコントロールスのは難しいし、バイアスもあるし、さらに次のような難しい例もある。

100人で新薬の試験を行うとする。
30人まで試験が終わったところで、新薬の効果がかなり見えてきた(偽薬に対して有意差を持って有効そうだ)ときに、そのまま試験を続けるべきだろうか? あと35人に偽薬を投与し、薬の有効性の発表を遅らせるのは倫理的に正当か?


例として驚いたのが、「喫煙統計でウソをつく法」のエピソード。
煙草会社がダレル・ハフを使って煙草の宣伝をさせようとしていた(幸い、出版には至らなかった)。原稿が残っているのだが、そこでハフがp値を誤解していたことが読み取れるというのだ。そして、K.A.ブラウンリーがハフの原稿を評価したのだが、そのときにもこの誤り(及び類似の誤り)を指摘した資料が残っていない。
いかに、p値が間違いを誘発しやすいかということを示している。


本書は、数学書ではないとはいえ、ある程度分かる人向けに注意を促すための本。入門書ではないので注意。
なお、本書のウェブ版(同じものではない。ウェブ版を大幅改訂して書籍版にしてある)の和訳が読める。
http://id.fnshr.info/2014/12/28/stats-done-wrong-ja-pdf/