FACTFULNESS、誰もが嘘をついている

FACTFULNESS(ファクトフルネス)　10の思い込みを乗り越え、データを基に世界を正しく見る習慣

誰もが嘘をついている ビッグデータ分析が暴く人間のヤバい本性

 去年の後半に話題になっていた2冊をようやく読んだ。

どちらも、データをよく見ると予想と違うことがあるよ、という話で、『ファクトフルネス』の方は伝統的な統計情報、『誰もが嘘を』の方はビッグデータ（検索エンジンのクエリデータ）が中心で、やり方は違うのだけれど根底に通じるものがあるな、と思った。

ファクトフルネス

こちらは、冒頭の13の質問が有名で、
https://factquiz.chibicode.com/

にクイズ形式で掲載されている。これがチンパンジー（ランダム回答）よりも正解率が悪い、無知ではなく認知の歪みがあるからだ、それを乗り越えて事実に即した行動をしようというような内容になっている。

実は、私自分でやったときの正解率が「9/13」で「ああ、こういう基本的な数字も結構間違えるな」と思ったのだが、実はそれどころではなかった。

種明かしをしておくと、私がこの質問を読んだときに「世界の平均的なことを聞いているのなら、要するに中国とインドでざっくり世界の3分の1なんだから、両国を想定すればいいんだよな」と考えて回答した。この「要するに」の部分が多くの人には欠けていたということになる。

 私は、「メディアがあれだけバイアスのかかったニュースを流しまくっているのだから多くの人がひっかかるのも無理はない」と思ったのだが、著者によればこの考え方もバイアスがかかっているそうだ。（もっとも、あらゆるものにバイアスはあり、本書自体にもバイアスを感じるところは多々ある）

意外だったのは、貧困対策で活動している人達が貧困状態についての質問の正解率が低かったこと。目の前の貧困対策に注意が集中しているので「地球全体では？」という質問の意図が読み取れず、今自分が取り組んでいる問題を前提に回答してしまったのだろう。そうしたバイアスが、より大きな問題やより大きなチャンスを見過ごす結果になっていないかということである。

本書は実践ガイド的なところがある（というか実践して貰うことが目的）のだが、そこのページだけ見てもダメ。そこだけ読むと当たり前のことが書いてあるだけだから。そうではなく、バイアスがかかっていて問題やチャンスを見落としいて、それはこうすれば解決できるよというのを疑似体験しないと方法が入ってこないからだろう。

ただ、きちんとしたデータを適切に見ようというのがいかに難しいかというのは、逆のことを説明した「統計でウソをつく法」の指摘がいまだに有効であることから分かる。

本書の終盤の山場は、アル・ゴアに恐怖商法を迫られて拒否するシーン。

アル・ゴアは専門家の予想の上をいくような恐ろしげなバブルチャートをつくってほしいと迫る。何度か頼まれて、最後にわたしはきっぱりと断った。副大統領。予想はなしです。バブルチャートも作りません。(No.3452)

 政治的にはアル・ゴアのやり方が正しいのかもしれないし、実際、オオカミ少年が何年たっても幅を利かせている現実もある。ただ、このエピソードは著者が誠実な人間であることはよく示していると思う。そして、著者は「ちゃんとデータをとれ」と続ける。そう、データが大事。

誰もが嘘をついている

こちらは、ビッグデータを使う話。かなりの部分を性的な話題が占めていて、内容を人に話すのに少々躊躇いがでてくる程。
もちろん、それには理由がある。まさにそうした躊躇いを感じる内容であるからこそ、なかなか正確な調査ができない、調査対象となった人が正確な返事をしない、つまり正確なデータが取れない分野なのである。それが、Googleによって道を開かれたという話。

著者が使っているのが「ビッグデータ」。例えばGoogle。検索結果ではなく、検索に使うキーワードの方を使うことで人々の関心が本当はどこにあるのか分かる。（性的な悩みの中でどれが本当に多いのか、それは検索件数を数えることで分かる）
あるいは、誤入力の修正データ。「性的なことを考えているから、性的な単語にミスタッチしやすい」という仮説がある。一見もっともらしいが、本当だろうか。それを実際の修正データから調べることができる。

そうしたビッグデータベースの調査はしばしば予想と異なる結果を導き出す。必要に応じて更に掘り下げた調査を行い、そして必要ならばその結果を受け入れて対策を考えなくてはならない。これが意外に難しい。 

そうした意外な結果は、別に性的な話に限らない。端的な例で言えばトランプ大統領。大統領選期間中の世論調査では終始ヒラリーがリードしていたが、現実は違った。ヒラリーの選対がもう少し優秀で現実を知っていれば、もう少し政策を修正し支持を増やすことができたかもしれない。
うまくいった方で言えばオバマ大統領の演説。ムスリムに警戒的な雰囲気が出てきたときに、それを緩和するにはどういう演説をすべきかというのに示唆を与えたのがビッグデータ。既存メディアの論調ではなくビッグデータを使って演説の方向性を修正し、2度目の演説では1度目より遙かに効果的な結果を得ている。

私が一番面白く感じた例え話は、ビッグデータを高解像度写真に例えた部分。データは多いだけではだめだ、正しいデータが重要だというよく聞く話は当然かかれている。その先。

ビッグデータは、データ量が多いだけで十全のサーベイと同じことをするためのものであってはならない。(No.2544)

ビッグデータの規模がものいうこはここだ。写真の一部を引き伸ばしてなお鮮明な画像を得るには、もともとその写真の画素数が膨大でなければならない。(No.2525)

何が大事であるかを知るためには規模が必要であることがわかるし、それが単に同じ事をしていてもダメだということも分かる。ビッグデータから何かが抜けているかもしれないと考えるのは人間かもしれないが、それを確かめるにはビッグデータが必要なのである。
本書が語っているのは、「ビッグデータとの正しい付き合い方」と言える。

両者が見ているところは近い

両著作ともに、「データが大事だ」「データを正しく見よう」「データをより正しく使えば、より正しい判断ができるようになる」という点では同じ事を言っている。アプローチの仕方は異なるけれど。

私が聞いてみたいのは、「ファクトフルネス」で書かれている内容を「誰もが嘘を」の方法論で分析した結果。さて、効果は出ているのか、その方向性は。どうなんだろう。