アンケートのエラーメッセージやランダマイズ機能とは？-D.I.Y.リサーチ入門（6）

アンケートの「エラーメッセージ/アラート」機能
アンケート設問や選択肢の「ランダマイズ」機能
まとめ

アンケートの「エラーメッセージ/アラート」機能

Webアンケートでは、様々な制御を入れて回答者が正しく回答できるように手助けします。例えば、回答を必須に設定した場合に、チェックを入れずに進もうとすると、画面上に「未回答の項目があります。」などといったエラーメッセージが表示され、回答を促します。

エラーメッセージは制御によって様々です。
“回答は３つまでです”
”半角数字でお答えください”
“回答に矛盾があります”
“合計が10になるようにお答えください”
・・・・

多くのツールでは、制御によってデフォルトのエラーメッセージが用意されていますが、回答者の知識や能力に合わせて適切なメッセージを出す必要があります。意味の理解できないエラーメッセージは回答意欲を削ぎます。また、特に自分の顧客にアンケートをする場合などは言い回しも気になりますね。したがって、エラーメッセージは自由にカスタマイズできるツールが良いと思います。

アンケート設問や選択肢の「ランダマイズ」機能

Webアンケートでよく使われる機能に「ランダマイズ」があります。
これは、設問や選択肢の表示順をランダムに入れ替え、回答の偏りを防ぐための機能です。
ランダマイズには、すべての選択肢を入れ替える方法や、一部を固定する方法など、いくつかのパターンがあります。
ツール選定の際は、こうした設定が簡単に行えるかに加え、表示順をデータとして取得できるかも確認しておくと安心です。

選択肢ランダマイズ

下記の設問を例にとって、選択肢ランダマイズについて詳しく説明をします。

Q1. コンビニでよく購入する商品をすべてお選びください
1 おにぎり
2 サンドイッチ
3 弁当
4 スイーツ
5 飲み物
6 お菓子
7 ホットスナック
8 その他

このような設問では、選択肢の並び順によって回答が偏る可能性があります。
特に、日常的な選択肢が並ぶ場合、上に表示されている項目ほど目に入りやすく、「なんとなく」選ばれやすくなる傾向があります。
こうした偏り（順序効果）を防ぐために、回答者ごとに選択肢の表示順をランダムに入れ替えるのが「選択肢ランダマイズ機能」です。

ランダマイズにはいくつかの方法があります。
完全にランダムに並べ替えるだけでなく、昇順・降順のパターンで入れ替える方法（極端にバラバラにしたくない場合）もあります。
また、「その他」といった選択肢は常に最後に表示したいケースが多いため、特定の選択肢を固定し、それ以外のみをランダム化する設定も重要です。

さらに、関連する設問を続けて出す場合にも注意が必要です。たとえば、
Q2. コンビニで最もよく購入する商品を1つお選びください
といった設問を続けて出す場合、Q1とQ2で選択肢の並び順が異なると、回答者は違和感を覚え、回答しづらくなることがあります。
そのため、前の設問でランダマイズされた順序をそのまま引き継いで表示する「選択肢ランダマイズ引継ぎ機能」も、実務上は重要な機能となります。

項目（表側）ランダマイズ

表形式（マトリクス）の設問、特に多項目尺度の設問では、しばしば項目のランダマイズをします。例えば次のような質問です（表側が項目、表頭が選択肢です）。

マトリクス（多項目尺度）

表形式の設問では、回答者は前の項目にどう答えたかを基準にして次の項目を答えていくので、隣接した項目間の回答の相関が高くなる傾向があります。このデータを、相関を基にした因子分析などの手法で解析する場合、相関への隣接による影響はノイズ（余計な相関）になりますから、項目をランダマイズしてこうした影響をデータから除くようにします。

マトリクスの項目のランダマイズについても、選択肢の場合と同様に、グループ間、グループ内のランダマイズの設定をしたい場合があります。

グループランダマイズ

次に、グループ単位でのランダマイズについて見ていきます。
たとえば、以下のような設問を考えます。

Q. 利用している動画配信サービスをすべてお選びください
1 Netflix
2 Amazon Prime Video
3 Disney+
4 Hulu
5 U-NEXT
6 ABEMA
7 YouTube
8 TikTok
9 TVer
10 その他

このような設問では、「有料サービス」と「無料サービス」など、性質の近い選択肢同士でグループ分けしたい場合があります。
その際、すべての選択肢をバラバラにランダマイズしてしまうと、似たサービスが分散し、回答しづらくなる可能性があります。
そこで、まずグループ単位で表示順をランダムにし（どのグループを先に表示するか）、そのうえで各グループ内の選択肢をランダマイズする、といった方法を取ります。
このように、「グループは保ったまま順序をランダム化する」手法をグループランダマイズといい、回答しやすさとデータの偏り防止を両立するために有効な機能です。

設問間ランダマイズ

選択肢だけでなく、設問の提示順をランダムにする「設問間ランダマイズ」もよく使われます。

たとえば、複数の商品を評価する調査では、どの順番で提示されるかによって評価が変わる可能性があります。最初に見た商品が基準になったり、後に見た商品が印象に残りやすくなったりするためです。
このような順序効果を防ぐために、商品Pと商品Qの評価順を「P→Q」「Q→P」でランダムに出し分けるといった方法が取られます。

また、商品ごとに複数の設問（例：各3問）がある場合は、それぞれをひとまとまりの設問群として扱い、設問群単位で順序をランダマイズすることもあります。

さらに、最後に「商品Pと商品Qのどちらが好ましいか」といった比較設問を行う場合は、それまでの提示順に合わせて選択肢の順番も揃える必要があります。
そのため、設問のランダマイズ順を選択肢に引き継ぐ機能も重要になります。

回答者/提示刺激のランダム割付

商品PとQの両方を評価させるのではなく、回答者ごとにどちらか一方のみを評価させ、その結果を比較する調査もあります。いわゆるA/Bテストの考え方です。

この場合は、選択肢や設問ではなく、回答者自体をランダムにグループ分けする機能が必要になります。
たとえば、回答者を2グループに分け、一方には商品P、もう一方には商品Qに関する設問のみを表示するといった形です。

実装方法としては、グループごとに設問の出し分けを行う方法のほか、同一の設問内で提示する商品だけを切り替え、回収後にグループ別で比較する方法もあります。

また、割付方法にも注意が必要です。単純なランダム割付では、各グループの人数に偏りが生じることがあります。
そのため、回答者数を均等に保ちたい場合は、「P→Q→P→Q…」のように順番に割り付けるローテーション方式を用いることもあります。