2022年10月7日 更新

アンケート結果をランキングにする際に気を付けるべき「バイアス」とは?

gettyimages (3729)

アンケートにかかるバイアスとは

以前、おぎやはぎの「メガネびいき」(TBSラジオ)を聴いていたら、「コロナ後に始めた趣味」のランキングが紹介されていました。それによると、1位は「運動」や「ガーデニング」を抑えて「懸賞応募」だということでした。

番組内でも「本当かよ」とかコメントされていましたが、私は「ああ、これはパネル(回答者)のバイアスだな」とすぐピンときました。それは、「懸賞」と「アンケート」にはかかわりがあるからです。

インターネット調査パネルの構成

インターネットの調査パネルというサービスは、ある意味では「懸賞・ポイントサイト」という会員ビジネスの一分野です。単純な懸賞への応募のかわりに、「アンケートに答える」ということでポイントをためる、このことに特化したサイト/アプリがインターネット調査のパネルというサービスの基盤になっています。

このことは、リサーチ業界の人にとっては自明のことですので、ポイントサービスの利用率・効果とか、それに紐づいたネットバンキング的なサービスの利用率について、インターネット調査のパネルを使って調査するのはバイアスが大きいということがわかっています。

というわけで、「懸賞応募」ときいただけですぐバイアスだな、と感じたということです。

アンケート結果を公表するときの注意点

さて、この調査結果の出元を調べてみますと、思った通りであり、加えて報告の中に「バイアスを含んでいる」ということも丁寧に記載してありました。「コロナ禍で始めた新たな趣味は?」アンケート結果

「1位「懸賞応募」は、アンケートの告知を・・・・懸賞募集サイトにも掲載いただいたことが影響したと思われます」とありますので、インターネット調査のパネルであることの影響というよりは、より直接的に懸賞サイトに掲載したということがあるようです。

もちろん、このような記載があっても、そのとおり伝わることはほとんど期待できません。ただ「コロナ下ではじめた趣味は、懸賞応募が1位」という情報だけが伝わることになります。一般にいわれる「データの独り歩き」の顕著な例といえます。

バイアスがかかったデータを処理する

私の意見としては、このような場合には「懸賞応募」はランキングから外すか、懸賞サイトからの回答の影響を除外するような処理をしたうえで集計すべきだと思います。

調査結果に疑念がもたれたり、信頼性が問われたりするとき、回答者数の大きさや性・年代構成比、結果を発表している調査主体などについてはよく言及されるのですが、調査している変数と回答者の集め方の関係について、より具体的なイメージをもっていると設計や分析上の失敗を避けることができます。

とはいえ、予想外のバイアスに事後的に気づく、ということもあるでしょう。件の調査主体は正直にもバイアスの存在を認めたうえで報告しているのですが、それは結果を公表するような調査の場合、適切な処理ではないかもしれません。

私自身そのような調査の設計・報告に携わったことがありますが、分析中バイアスの存在を発見し、公表するべきではないとしてお蔵入りにしたデータがいくつもあります。

多くのマーケティング・リサーチの場合、調査結果は内々(社内の一部)で流通するだけですので、結果にバイアスがあってもそれを踏まえて結果をみてもらうよう注意喚起することで、ある程度は情報の管理をすることができます。

しかし、結果を公表するような調査の場合や、調査結果を広告の一部として使うなどの目的がある場合には、そのような注意は簡単に見落とされて、「データが独り歩きする」ことになります。

場合によっては、結果について非難を受けたり、不当な広告として扱われるような問題にもなりかねませんので、パネルのバイアスと調査結果への影響というのはよくよく注意する必要があります。
9 件

関連する記事 こんな記事も人気です♪

【7月28日はナニワの日!!】開催まで1000日切った大阪万博 国民の万博への意識とは?

【7月28日はナニワの日!!】開催まで1000日切った大阪万博 国民の万博への意識とは?

2025年の開催まで1000日を切った大阪万博。先日の開幕1000日前イベントでは、公式キャラクターの名称が「ミャクミャク」に決定し、有名アーティストが制作した公式ソングも発表されました。最近ではテレビ番組などで少しずつ万博関連の情報が紹介されはじめ、徐々に注目を集めるようになってきています。そんな大阪万博ですが、国民はどのように受け止めているのでしょうか?現在の声を集めてみました!
栗田 | 367 view
【独自調査】生活者の購買行動を引き起こさせるために必要なこととは?

【独自調査】生活者の購買行動を引き起こさせるために必要なこととは?

コロナ禍も収束の気配を見せ始め、人々の行きかいも活発になってきているように思われます。沈んでいた経済活動も復調の兆しを見せ始める中、生活者はどのように購買行動を起こしているのでしょうか?今回はその実態について、15歳から60代以上の600名にアンケートを実施し、深掘りしてみました。
栗田 | 203 view
【独自調査】成年年齢引き下げに対するティーン世代の意識から見えてきたこととは?

【独自調査】成年年齢引き下げに対するティーン世代の意識から見えてきたこととは?

成年となる年齢の引き下げる示した「民法の一部を改正する法律」が2022年4月1日に施行され、成年年齢が18歳となりました。それに伴う様々な話題や課題が取り上げられ議論を呼んでいますが、当の10代後半のティーン世代はどのように捉えているのでしょうか?またそこから見えてきた問題とは?
栗田 | 820 view
外国人観光客の受け入れ再開!続くマスク生活に生活者の本音とは?

外国人観光客の受け入れ再開!続くマスク生活に生活者の本音とは?

6月10日は県民割などのGoToキャンペーンの開始や、外国人旅行者の本格的な受け入れの再開など、withコロナ生活に向けて加速しているように思われます。新型コロナウイルスへの対策方針が大きく変化しているように思われる昨今ですが、実際の生活者はどのような思いを抱いているのでしょうか? 今回は全国の都道府県の20代以上の男女500名を対象にアンケートを実施しました。その結果をご紹介します!
栗田 | 517 view
22年度新入社員に聞いた!理想の先輩と働き方を徹底調査

22年度新入社員に聞いた!理想の先輩と働き方を徹底調査

新年度も3週目となり、今年度入社した新入社員との交流が増えてきた方も多いのではないでしょうか?毎年その年度の新入社員を形容するワードや理想の上司ランキングなどが紹介されますが、今年の新入社員の実態はどうなのでしょうか?今年度4月に入社した新入社員300名にアンケートを実施した結果をご紹介します!
栗田 | 1,480 view

この記事のキーワード

この記事のキュレーター

KOJI.A KOJI.A