2022年2月28日 更新

ランキングとバイアス

gettyimages (3729)

 以前、おぎやはぎの「メガネびいき」(TBSラジオ)を聴いていたら、「コロナ後に始めた趣味」のランキングが紹介されていました。それによると、1位は「運動」や「ガーデニング」を抑えて「懸賞応募」だということでした。

番組内でも「本当かよ」とかコメントされていましたが、私は「ああ、これはパネル(回答者)のバイアスだな」とすぐピンときました。それは、「懸賞」と「アンケート」にはかかわりがあるからです。

インターネットの調査パネルというサービスは、ある意味では「懸賞・ポイントサイト」という会員ビジネスの一分野です。単純な懸賞への応募のかわりに、「アンケートに答える」ということでポイントをためる、このことに特化したサイト/アプリがインターネット調査のパネルというサービスの基盤になっています。

このことは、リサーチ業界の人にとっては自明のことですので、ポイントサービスの利用率・効果とか、それに紐づいたネットバンキング的なサービスの利用率について、インターネット調査のパネルを使って調査するのはバイアスが大きいということがわかっています。

というわけで、「懸賞応募」ときいただけですぐバイアスだな、と感じたということです。

さて、この調査結果の出元を調べてみますと、思った通りであり、加えて報告の中に「バイアスを含んでいる」ということも丁寧に記載してありました。(https://www.bgf.or.jp/enq/covid-19/2020_enq_covid-19.html

「1位「懸賞応募」は、アンケートの告知を・・・・懸賞募集サイトにも掲載いただいたことが影響したと思われます」とありますので、インターネット調査のパネルであることの影響というよりは、より直接的に懸賞サイトに掲載したということがあるようです。

もちろん、このような記載があっても、そのとおり伝わることはほとんど期待できません。ただ「コロナ下ではじめた趣味は、懸賞応募が1位」という情報だけが伝わることになります。一般にいわれる「データの独り歩き」の顕著な例といえます。

私の意見としては、このような場合には「懸賞応募」はランキングから外すか、懸賞サイトからの回答の影響を除外するような処理をしたうえで集計すべきだと思います。

調査結果に疑念がもたれたり、信頼性が問われたりするとき、回答者数の大きさや性・年代構成比、結果を発表している調査主体などについてはよく言及されるのですが、調査している変数と回答者の集め方の関係について、より具体的なイメージをもっていると設計や分析上の失敗を避けることができます。

とはいえ、予想外のバイアスに事後的に気づく、ということもあるでしょう。件の調査主体は正直にもバイアスの存在を認めたうえで報告しているのですが、それは結果を公表するような調査の場合、適切な処理ではないかもしれません。

私自身そのような調査の設計・報告に携わったことがありますが、分析中バイアスの存在を発見し、公表するべきではないとしてお蔵入りにしたデータがいくつもあります。

多くのマーケティング・リサーチの場合、調査結果は内々(社内の一部)で流通するだけですので、結果にバイアスがあってもそれを踏まえて結果をみてもらうよう注意喚起することで、ある程度は情報の管理をすることができます。

しかし、結果を公表するような調査の場合や、調査結果を広告の一部として使うなどの目的がある場合には、そのような注意は簡単に見落とされて、「データが独り歩きする」ことになります。

場合によっては、結果について非難を受けたり、不当な広告として扱われるような問題にもなりかねませんので、パネルのバイアスと調査結果への影響というのはよくよく注意する必要があります。
2 件

関連する記事 こんな記事も人気です♪

Satisficing(努力の最小限化)回答者の予測 (2)

Satisficing(努力の最小限化)回答者の予測 (2)

Satisficing回答者の予測に関する実験調査結果の続きです。
KOJI.A | 236 view
CX~EX~DX

CX~EX~DX

自民党総裁選の報道で「DXの推進」なる言葉が出てきて、DXって何じゃ、デラックス?と思った人もいるかもしれませんが、DXはDigital Transformation(デジタルによる変革)の略で、ITによって生活や企業活動の変革が起こるというような意味です。
KOJI.A | 393 view
D.I.Y.リサーチ入門(11)

D.I.Y.リサーチ入門(11)

本記事ではD.I.Y.リサーチにおけるアンケート対象者の選定やパネルの利用についてお話しいたします。
KOJI.A | 143 view

この記事のキーワード

この記事のキュレーター

KOJI.A KOJI.A