2020年7月2日 更新

調査とメイキング・サティスファイシング・バイアス・ノイズ

gettyimages (518)

世論調査での不正

FNN/産経新聞の合同世論調査でメイキング(不正なデータ入力)が行われていたことが明らかになり、トップニュースに近い扱いで様々なメディアが報じました。日本世論調査協会も6月25日付でこの件について遺憾の声明を出しています。

年1回行われている世論調査協会の大会は(オフラインで開催されるのかまだわかりませんが)、この件以外にも今年は選挙など話題がたくさんあり、多くの意見・議論が出そうです。

メイキングは過去14回に及ぶということです。訪問調査であればその間確認調査(電話や郵送などで、調査が正しく行われているか監査する)が行われたものとも思いますが、電話調査のような集中管理できる手法では、メイキングのリスクはないと考えられていたのかもしれません。

この度の件は、電話調査(再)委託先の監督者ぐるみでのメイキングだったようなので、こうなると集中管理されていても何の意味もない、ということになります。

FNN/産経新聞によると、不正のあった調査結果報道・記事は全て取り消すということでした。この件に関する報道では、TBSラジオの「Session-22」荻上チキさんが、私が知る限り唯一「不正票を除外した、正しく調査された回収票の再集計、公開」に言及していました。不正票の混入によってどのように結果に影響したのか検証すべきだという意見です。私も同感で、さらに不正票も含めてローデータを公開してもらえるとよいのではないかと思います。

つまり、データから不正票を判別できるか技術的に検証できるのではないかということです。報道によると、不正の方法は、正しく回収した票をリサンプリング(ブースティング)したうえで属性データなどに修正を入れたようで、判別は難しそうではあるが、そこまで手口がわかっていれば可能かもしれないと思います。

正しくない「呪われた」データとして闇に葬るよりは、その方が良いのではないでしょうか。結局、調査については手続きの透明性がいちばん重要なので。(https://www.aapor.org/Transparency_Initiative.htm

このことについて、オンライン調査、いわゆるインターネット調査も他人ごとではありません。オンライン調査は、主に商業ベースの調査、マーケティングリサーチ中心に行われており、費用対効果とスピードの面から、リサーチ会社の保有する「パネル」を対象として実施することが多いため、世論調査のようなランダムサンプリング・代表性の厳しい条件による協力依頼・回収の労苦からは逃れています(したがって、「シリアスな」世論調査には使われない)。

回収コストの低い「パネル」を使っていることから、リサーチャー側がメイキングをするインセンティブは少ないのですが、パネル、つまり回答者側のメイキングといえるものはありえます。例えば重複登録によって他人に成りすまして何度も回答するなど。また、メイキングとは言えなくても、正しく回答する努力をせず適当に答える「サティスファイシング」という行動は、オンライン調査のパネルの問題として多くの研究や指摘があります。

実務者としての観点で言うと、パネルについて「品質の高いパネルです」というような売り文句、オーラはどうでもよくて、どのようにモニターを集めて、どのような問題をどう対応・管理しているか、逆に何をしていないか、どんなバイアスがあるかが透明であること、がはるかに重要です。

調査の設計・分析とは、問題の全くない理想的なデータを扱うこととはほど遠く、メイキング/サティスファイシング/バイアス/ノイズといった調査につきものの問題を何とかかんとか選り分けて、そこから正しい情報をつかみ、社会やクライアントに伝えることのように思います。
3 件

関連する記事 こんな記事も人気です♪

アンケート用紙をWordで作成する方法。チェックボックスやドロップダウンリストの使い方を解説

アンケート用紙をWordで作成する方法。チェックボックスやドロップダウンリストの使い方を解説

アンケートを紙で実施する際に必要になるのがアンケート用紙の作成です。日本企業では文書を作成する際にはマイクロソフト社のwordが多く使われていますが、当記事ではそのwordでアンケート用紙を作成するポイントを解説いたします。
アンケートの依頼メール文の書き方とは?記載すべき項目や回答率をアップさせるポイントを解説

アンケートの依頼メール文の書き方とは?記載すべき項目や回答率をアップさせるポイントを解説

マーケティング活動において生活者の声を取り入れるためにアンケートを取ることは重要な施策の1つとなっています。ただアンケートに回答するという行為は回答者にとっては一定の時間を提供する心理的負荷の高い行動となります。 当記事ではアンケートへの回答率を上げるための方法の1つとして、アンケート依頼メールの書き方についてのポイントを解説します。
アンケートの選択肢の重要性・作成時の注意点・種類について解説

アンケートの選択肢の重要性・作成時の注意点・種類について解説

アンケートは対象者に向けていくつかの質問をし、回答内容に基づいて分析をすることで何らかの情報を得るために行いますが、アンケート結果に現実との齟齬が生じると今後のマーケティング活動に大きな悪影響を及ぼす可能性があります。 今回は、アンケートの『選択肢』に焦点を当てて信頼性の高い回答を得るためのポイントを解説していきます。
アンケート調査で「回収率」が重要なのはなぜ?回収率を向上させる方法についても解説

アンケート調査で「回収率」が重要なのはなぜ?回収率を向上させる方法についても解説

アンケートはマーケティングの成果を測定するときに有効な手段である一方、正しく活用するためにはアンケートの配布数、回収数だけではなく、「回収率」も確認をする必要があります。今回は、なぜ回収率が重要視されるのか、回収率が低くなる要因を踏まえて、アンケートの回収率を上げる方法について詳細に解説します。
Googleフォームでの使い方を徹底解説。アンケート作成方法から作成事例まで!

Googleフォームでの使い方を徹底解説。アンケート作成方法から作成事例まで!

Googleのアカウントを作成すれば無料で利用できるGoogleフォーム。当記事ではその利用方法と作成方法を解説します。

この記事のキーワード

この記事のキュレーター

KOJI.A KOJI.A