2022年7月21日 更新

調査とメイキング・サティスファイシング・バイアス・ノイズ

gettyimages (518)

世論調査での不正

FNN/産経新聞の合同世論調査でメイキング(不正なデータ入力)が行われていたことが明らかになり、トップニュースに近い扱いで様々なメディアが報じました。日本世論調査協会も6月25日付でこの件について遺憾の声明を出しています。

年1回行われている世論調査協会の大会は(オフラインで開催されるのかまだわかりませんが)、この件以外にも今年は選挙など話題がたくさんあり、多くの意見・議論が出そうです。

メイキングは過去14回に及ぶということです。訪問調査であればその間確認調査(電話や郵送などで、調査が正しく行われているか監査する)が行われたものとも思いますが、電話調査のような集中管理できる手法では、メイキングのリスクはないと考えられていたのかもしれません。

この度の件は、電話調査(再)委託先の監督者ぐるみでのメイキングだったようなので、こうなると集中管理されていても何の意味もない、ということになります。

FNN/産経新聞によると、不正のあった調査結果報道・記事は全て取り消すということでした。この件に関する報道では、TBSラジオの「Session-22」荻上チキさんが、私が知る限り唯一「不正票を除外した、正しく調査された回収票の再集計、公開」に言及していました。不正票の混入によってどのように結果に影響したのか検証すべきだという意見です。私も同感で、さらに不正票も含めてローデータを公開してもらえるとよいのではないかと思います。

つまり、データから不正票を判別できるか技術的に検証できるのではないかということです。報道によると、不正の方法は、正しく回収した票をリサンプリング(ブースティング)したうえで属性データなどに修正を入れたようで、判別は難しそうではあるが、そこまで手口がわかっていれば可能かもしれないと思います。

正しくない「呪われた」データとして闇に葬るよりは、その方が良いのではないでしょうか。結局、調査については手続きの透明性がいちばん重要なので。(https://www.aapor.org/Transparency_Initiative.htm

このことについて、オンライン調査、いわゆるインターネット調査も他人ごとではありません。オンライン調査は、主に商業ベースの調査、マーケティングリサーチ中心に行われており、費用対効果とスピードの面から、リサーチ会社の保有する「パネル」を対象として実施することが多いため、世論調査のようなランダムサンプリング・代表性の厳しい条件による協力依頼・回収の労苦からは逃れています(したがって、「シリアスな」世論調査には使われない)。

回収コストの低い「パネル」を使っていることから、リサーチャー側がメイキングをするインセンティブは少ないのですが、パネル、つまり回答者側のメイキングといえるものはありえます。例えば重複登録によって他人に成りすまして何度も回答するなど。また、メイキングとは言えなくても、正しく回答する努力をせず適当に答える「サティスファイシング」という行動は、オンライン調査のパネルの問題として多くの研究や指摘があります。

実務者としての観点で言うと、パネルについて「品質の高いパネルです」というような売り文句、オーラはどうでもよくて、どのようにモニターを集めて、どのような問題をどう対応・管理しているか、逆に何をしていないか、どんなバイアスがあるかが透明であること、がはるかに重要です。

調査の設計・分析とは、問題の全くない理想的なデータを扱うこととはほど遠く、メイキング/サティスファイシング/バイアス/ノイズといった調査につきものの問題を何とかかんとか選り分けて、そこから正しい情報をつかみ、社会やクライアントに伝えることのように思います。
3 件

関連する記事 こんな記事も人気です♪

【7月28日はナニワの日!!】開催まで1000日切った大阪万博 国民の万博への意識とは?

【7月28日はナニワの日!!】開催まで1000日切った大阪万博 国民の万博への意識とは?

2025年の開催まで1000日を切った大阪万博。先日の開幕1000日前イベントでは、公式キャラクターの名称が「ミャクミャク」に決定し、有名アーティストが制作した公式ソングも発表されました。最近ではテレビ番組などで少しずつ万博関連の情報が紹介されはじめ、徐々に注目を集めるようになってきています。そんな大阪万博ですが、国民はどのように受け止めているのでしょうか?現在の声を集めてみました!
【独自調査】生活者の購買行動を引き起こさせるために必要なこととは?

【独自調査】生活者の購買行動を引き起こさせるために必要なこととは?

コロナ禍も収束の気配を見せ始め、人々の行きかいも活発になってきているように思われます。沈んでいた経済活動も復調の兆しを見せ始める中、生活者はどのように購買行動を起こしているのでしょうか?今回はその実態について、15歳から60代以上の600名にアンケートを実施し、深掘りしてみました。
ダークな「No.1調査」

ダークな「No.1調査」

ネットリサーチCron : リサーチ関連の話題・手法について、業界内外の人が息抜きに読めるような軽いコラムです。
KOJI.A | 109 view
外国人観光客の受け入れ再開!続くマスク生活に生活者の本音とは?

外国人観光客の受け入れ再開!続くマスク生活に生活者の本音とは?

6月10日は県民割などのGoToキャンペーンの開始や、外国人旅行者の本格的な受け入れの再開など、withコロナ生活に向けて加速しているように思われます。新型コロナウイルスへの対策方針が大きく変化しているように思われる昨今ですが、実際の生活者はどのような思いを抱いているのでしょうか? 今回は全国の都道府県の20代以上の男女500名を対象にアンケートを実施しました。その結果をご紹介します!
【サーベロイド】回答者の趣味嗜好や家族構成など、より詳細な消費者情報を基にアンケート配信可能な新機能「拡張属性」をリリース!

【サーベロイド】回答者の趣味嗜好や家族構成など、より詳細な消費者情報を基にアンケート配信可能な新機能「拡張属性」をリリース!

MarketingResearchJournalを運営する株式会社マーケティングアプリケーションズ(本社:福岡県福岡市、代表取締役・萩野郁夫)は、2022年4月1日(金)に、セルフ型ネットリサーチ「サーベロイド」で新機能「拡張属性」の提供を開始致しました。
大石 | 457 view

この記事のキーワード

この記事のキュレーター

KOJI.A KOJI.A