調査とメイキング・サティスファイシング・バイアス・ノイズ

FNN/産経新聞の合同世論調査でメイキング（不正なデータ入力）が行われていたことが明らかになり、トップニュースに近い扱いで様々なメディアが報じました。日本世論調査協会も6月25日付でこの件について遺憾の声明を出しています。

年1回行われている世論調査協会の大会は（オフラインで開催されるのかまだわかりませんが）、この件以外にも今年は選挙など話題がたくさんあり、多くの意見・議論が出そうです。

メイキングは過去14回に及ぶということです。訪問調査であればその間確認調査（電話や郵送などで、調査が正しく行われているか監査する）が行われたものとも思いますが、電話調査のような集中管理できる手法では、メイキングのリスクはないと考えられていたのかもしれません。

この度の件は、電話調査（再）委託先の監督者ぐるみでのメイキングだったようなので、こうなると集中管理されていても何の意味もない、ということになります。

FNN/産経新聞によると、不正のあった調査結果報道・記事は全て取り消すということでした。この件に関する報道では、TBSラジオの「Session-22」荻上チキさんが、私が知る限り唯一「不正票を除外した、正しく調査された回収票の再集計、公開」に言及していました。不正票の混入によってどのように結果に影響したのか検証すべきだという意見です。私も同感で、さらに不正票も含めてローデータを公開してもらえるとよいのではないかと思います。

つまり、データから不正票を判別できるか技術的に検証できるのではないかということです。報道によると、不正の方法は、正しく回収した票をリサンプリング（ブースティング）したうえで属性データなどに修正を入れたようで、判別は難しそうではあるが、そこまで手口がわかっていれば可能かもしれないと思います。

正しくない「呪われた」データとして闇に葬るよりは、その方が良いのではないでしょうか。結局、調査については手続きの透明性がいちばん重要なので。（https://www.aapor.org/Transparency_Initiative.htm）

このことについて、オンライン調査、いわゆるインターネット調査も他人ごとではありません。オンライン調査は、主に商業ベースの調査、マーケティングリサーチ中心に行われており、費用対効果とスピードの面から、リサーチ会社の保有する「パネル」を対象として実施することが多いため、世論調査のようなランダムサンプリング・代表性の厳しい条件による協力依頼・回収の労苦からは逃れています（したがって、「シリアスな」世論調査には使われない）。

回収コストの低い「パネル」を使っていることから、リサーチャー側がメイキングをするインセンティブは少ないのですが、パネル、つまり回答者側のメイキングといえるものはありえます。例えば重複登録によって他人に成りすまして何度も回答するなど。また、メイキングとは言えなくても、正しく回答する努力をせず適当に答える「サティスファイシング」という行動は、オンライン調査のパネルの問題として多くの研究や指摘があります。

実務者としての観点で言うと、パネルについて「品質の高いパネルです」というような売り文句、オーラはどうでもよくて、どのようにモニターを集めて、どのような問題をどう対応・管理しているか、逆に何をしていないか、どんなバイアスがあるかが透明であること、がはるかに重要です。

調査の設計・分析とは、問題の全くない理想的なデータを扱うこととはほど遠く、メイキング/サティスファイシング/バイアス/ノイズといった調査につきものの問題を何とかかんとか選り分けて、そこから正しい情報をつかみ、社会やクライアントに伝えることのように思います。
▲