アンケート調査における不正回答
このコラムでも取り上げたことがあると思いますが、アンケート回答の質に関して、Satisficingという回答者の行動をどう抑制するかということが、リサーチの管理上重要な点になります。
Satisficingは造語で、こなれた日本語訳がないのですが、「満足化」とか「努力の最小限化」と訳されていることが多いようです。簡単にいえば、アンケートの回答者が質問をよく読まなかったりよく考えずに答えたり、要は「適当に」答えてしまうことをいいます。
自分でいろいろなアンケートに答えた経験を思い返してみればわかると思いますが、Satisficingの傾向はどんな人にもあります。長いアンケートだったり、意味のよくわからない質問だったりすると適当に答えてしまう、という行動は人間の一種合理的な反応といえます。
しかし、アンケートの内容を全然読まずに適当にチェックをつけるような、「重度の」Satisficing回答者が多く含まれたりすると、そのデータは誤差がとても大きくなってしまうことは明らかです。したがって、そのようなひどいSatisficing回答は無効なレコードとして集計に含めない、ということが一般的に行われています。
Satisficingは造語で、こなれた日本語訳がないのですが、「満足化」とか「努力の最小限化」と訳されていることが多いようです。簡単にいえば、アンケートの回答者が質問をよく読まなかったりよく考えずに答えたり、要は「適当に」答えてしまうことをいいます。
自分でいろいろなアンケートに答えた経験を思い返してみればわかると思いますが、Satisficingの傾向はどんな人にもあります。長いアンケートだったり、意味のよくわからない質問だったりすると適当に答えてしまう、という行動は人間の一種合理的な反応といえます。
しかし、アンケートの内容を全然読まずに適当にチェックをつけるような、「重度の」Satisficing回答者が多く含まれたりすると、そのデータは誤差がとても大きくなってしまうことは明らかです。したがって、そのようなひどいSatisficing回答は無効なレコードとして集計に含めない、ということが一般的に行われています。
不正回答者の見つけ方
アンケートがインタビュー形式、つまり調査員が介在して面接や電話などで行われる場合は、調査員の存在によって、ある程度Satisficingを発見・抑制することができます。そうでなくて回答者が自分で記入する形式のアンケートの場合は、回収されたアンケートを検票、つまり1票1票点検することでSatisficingを発見します。
紙媒体のアンケートの場合
紙のアンケート、例えば郵送調査などの場合、記載状況、例えば無記入の数、分岐設問を誤って回答している、ストレートライナー（例：マトリクスなどの質問ですべて「１」につけている）、周期的回答（例、5件法の質問で、1,2,3,4,5,4,3,2,1…などと回答）などがSatisficing回答発見の手掛かりになります。
WEBアンケートの場合
オンライン調査などの場合は、上記以外にパラデータ（回答に要した時間など調査データを取得するプロセスのデータ）が容易に取得できるので、これもSatisficing発見の手掛かりになります。
また、謝礼のあるアンケートの場合、特に一般的なオンライン調査のパネルに顕著な特徴といえるのですが、「謝礼を効率的に獲得する方法」としてSatisficing行動を誘発してしまうことがあるので、Web調査におけるSatisficing行動は多くの研究が行われているようです。（このことは、謝礼とSatisficingに関係があることを示していると思います。謝礼なしだったらSatisficing行動を抑制できるのか・・とはいえそれは回収率を下げるという別の問題を生じます。また、謝礼が回答にかかる労力に対してとても貧弱であれば、Satisficingを誘発することが推測されますが、ではどの程度謝礼を高くすればよいのか？）
また、謝礼のあるアンケートの場合、特に一般的なオンライン調査のパネルに顕著な特徴といえるのですが、「謝礼を効率的に獲得する方法」としてSatisficing行動を誘発してしまうことがあるので、Web調査におけるSatisficing行動は多くの研究が行われているようです。（このことは、謝礼とSatisficingに関係があることを示していると思います。謝礼なしだったらSatisficing行動を抑制できるのか・・とはいえそれは回収率を下げるという別の問題を生じます。また、謝礼が回答にかかる労力に対してとても貧弱であれば、Satisficingを誘発することが推測されますが、ではどの程度謝礼を高くすればよいのか？）
不正回答者はどのくらいの割合で存在するのか
さて、このような問題意識のもとで、Web調査のSatisficing回答者を予測するという簡単な実験調査を行ってみましたので、その結果を数回にわたってご紹介したいと思います。
調査概要
・調査対象 20～39歳のオンライン調査パネル登録者
・サンプルサイズ 3000人
・調査方法 インターネット調査
・調査時期 2021年2月
・サンプルサイズ 3000人
・調査方法 インターネット調査
・調査時期 2021年2月
調査項目
・デモグラフィック
・Satisficingに関連する意識（7件法、13項目、項目順はランダマイズ）
・トラップ設問（7件法のうち、指示した選択肢を回答する設問）
「トラップ質問」は、具体的には「この質問では選択肢（〇）を選択してください」という質問をしました。〇の部分は、7件法なので1～7のいずれかをランダムに提示するようにしました。
全体の調査ボリュームはご覧の通りごく小さく、5分もあれば十分回答できる内容ですので、トラップ設問には指示された通り答えてほしいと期待します。
・Satisficingに関連する意識（7件法、13項目、項目順はランダマイズ）
・トラップ設問（7件法のうち、指示した選択肢を回答する設問）
「トラップ質問」は、具体的には「この質問では選択肢（〇）を選択してください」という質問をしました。〇の部分は、7件法なので1～7のいずれかをランダムに提示するようにしました。
全体の調査ボリュームはご覧の通りごく小さく、5分もあれば十分回答できる内容ですので、トラップ設問には指示された通り答えてほしいと期待します。
調査結果
調査結果をみると、トラップ設問を正しく答えた人は77％にとどまりました。23％もの人が指示とは違う選択肢を回答しています。
この23％が全員質問文を読まずに回答した、とは限らないのですが（単に手が滑った、選択肢を見誤ったとか、トラップ設問は回答者にとってはおかしな質問をされているので、まともに取り合わなかったり、いたずら心で別の選択肢を選んだり、「別のものを選んだらどうなるのかな？」というような興味で行動したかもしれません）、とりあえず、この23％の人を「Satisficing回答者」とみなすことにします。
この「Satisficing回答者」を、デモグラフィック、Satisficingに関連する意識と、調査のパラデータから予測してみよう、というのが今回の実験目的になります。
実験、分析結果は次回に続きます。
この23％が全員質問文を読まずに回答した、とは限らないのですが（単に手が滑った、選択肢を見誤ったとか、トラップ設問は回答者にとってはおかしな質問をされているので、まともに取り合わなかったり、いたずら心で別の選択肢を選んだり、「別のものを選んだらどうなるのかな？」というような興味で行動したかもしれません）、とりあえず、この23％の人を「Satisficing回答者」とみなすことにします。
この「Satisficing回答者」を、デモグラフィック、Satisficingに関連する意識と、調査のパラデータから予測してみよう、というのが今回の実験目的になります。
実験、分析結果は次回に続きます。
18 件
