アンケート結果をランキングにする際に気を付けるべき「バイアス」とは？

以前、おぎやはぎの「メガネびいき」（TBSラジオ）を聴いていたら、「コロナ後に始めた趣味」のランキングが紹介されていました。それによると、1位は「運動」や「ガーデニング」を抑えて「懸賞応募」だということでした。

番組内でも「本当かよ」とかコメントされていましたが、私は「ああ、これはパネル（回答者）のバイアスだな」とすぐピンときました。それは、「懸賞」と「アンケート」にはかかわりがあるからです。

インターネットの調査パネルというサービスは、ある意味では「懸賞・ポイントサイト」という会員ビジネスの一分野です。単純な懸賞への応募のかわりに、「アンケートに答える」ということでポイントをためる、このことに特化したサイト/アプリがインターネット調査のパネルというサービスの基盤になっています。

このことは、リサーチ業界の人にとっては自明のことですので、ポイントサービスの利用率・効果とか、それに紐づいたネットバンキング的なサービスの利用率について、インターネット調査のパネルを使って調査するのはバイアスが大きいということがわかっています。

というわけで、「懸賞応募」ときいただけですぐバイアスだな、と感じたということです。

さて、この調査結果の出元を調べてみますと、思った通りであり、加えて報告の中に「バイアスを含んでいる」ということも丁寧に記載してありました。「コロナ禍で始めた新たな趣味は？」アンケート結果

「1位「懸賞応募」は、アンケートの告知を・・・・懸賞募集サイトにも掲載いただいたことが影響したと思われます」とありますので、インターネット調査のパネルであることの影響というよりは、より直接的に懸賞サイトに掲載したということがあるようです。

もちろん、このような記載があっても、そのとおり伝わることはほとんど期待できません。ただ「コロナ下ではじめた趣味は、懸賞応募が1位」という情報だけが伝わることになります。一般にいわれる「データの独り歩き」の顕著な例といえます。

私の意見としては、このような場合には「懸賞応募」はランキングから外すか、懸賞サイトからの回答の影響を除外するような処理をしたうえで集計すべきだと思います。

調査結果に疑念がもたれたり、信頼性が問われたりするとき、回答者数の大きさや性・年代構成比、結果を発表している調査主体などについてはよく言及されるのですが、調査している変数と回答者の集め方の関係について、より具体的なイメージをもっていると設計や分析上の失敗を避けることができます。

とはいえ、予想外のバイアスに事後的に気づく、ということもあるでしょう。件の調査主体は正直にもバイアスの存在を認めたうえで報告しているのですが、それは結果を公表するような調査の場合、適切な処理ではないかもしれません。

私自身そのような調査の設計・報告に携わったことがありますが、分析中バイアスの存在を発見し、公表するべきではないとしてお蔵入りにしたデータがいくつもあります。

多くのマーケティング・リサーチの場合、調査結果は内々（社内の一部）で流通するだけですので、結果にバイアスがあってもそれを踏まえて結果をみてもらうよう注意喚起することで、ある程度は情報の管理をすることができます。

しかし、結果を公表するような調査の場合や、調査結果を広告の一部として使うなどの目的がある場合には、そのような注意は簡単に見落とされて、「データが独り歩きする」ことになります。

場合によっては、結果について非難を受けたり、不当な広告として扱われるような問題にもなりかねませんので、パネルのバイアスと調査結果への影響というのはよくよく注意する必要があります。
▲