アンケートのエラーメッセージやランダマイズ機能とは？-D.I.Y.リサーチ入門（6）

アンケートの「エラーメッセージ/アラート」機能
アンケート設問や選択肢の「ランダマイズ」機能
まとめ

アンケートの「エラーメッセージ/アラート」機能

Webアンケートでは、様々な制御を入れて回答者が正しく回答できるように手助けします。例えば、回答を必須に設定した場合に、チェックを入れずに進もうとすると、画面上に「未回答の項目があります。」などといったエラーメッセージが表示され、回答を促します。

エラーメッセージは制御によって様々です。
“回答は３つまでです”
”半角数字でお答えください”
“回答に矛盾があります”
“合計が10になるようにお答えください”
・・・・

多くのツールでは、制御によってデフォルトのエラーメッセージが用意されていますが、回答者の知識や能力に合わせて適切なメッセージを出す必要があります。意味の理解できないエラーメッセージは回答意欲を削ぎます。また、特に自分の顧客にアンケートをする場合などは言い回しも気になりますね。したがって、エラーメッセージは自由にカスタマイズできるツールが良いと思います。

アンケート設問や選択肢の「ランダマイズ」機能

Webアンケートで頻繁に使われる機能として「ランダマイズ」があります。ランダマイズは要素の提示順序などをランダム化するものですが、これには様々なバリエーションがあります。
ツール選定時は、設定も間違わずに簡単に行えるようなツールが望ましいといえます。また、どのようなランダマイズが行われたか、データとして入手する必要がある場合もあるので、どのようにランダマイズ結果がデータ化できるかも、ツールの評価にあたって確認したい点です。

選択肢ランダマイズ

下記の設問を例にとって、選択肢ランダマイズについて詳しく説明をします。

Q1：今期、セリーグのペナントレースを制するとあなたが予想するのは？
1 巨人
2 阪神
3 中日
4 ヤクルト
5 横浜
6 広島
7 わからない

例えば上のような質問は、「巨人が一番上にあるので、選ばれやすくなるのではないか」といったように、選択肢の並び順が回答に影響するという危惧が生じる場合があります。このような順序効果をなくすために、選択肢（この場合はチーム）をランダムに並べなおして提示する機能が選択肢のランダマイズ機能です。

ランダマイズは、完全にランダムに並べ替えるほか、昇順と降順のパターンにする（並び順を完全にごちゃごちゃにはしたくない場合）といったやり方ができます。また、上の例の場合「わからない」選択肢は常に最後に提示したいですから、特定の選択肢はランダマイズしないという設定機能も必要です。

さらに、上記の質問に続いて

Q2：今期、セリーグで最も観客を集めるとあなたが予想するのは？

というような質問をする場合、Q1でランダマイズしたチームの順がQ2でまた並び替えられると回答者は奇異に感じ、答えにくくなりますので、Q2ではQ1の選択肢順を引き継いで提示できる「選択肢ランダマイズ引継ぎ機能」も必要な機能になります。

項目（表側）ランダマイズ

表形式（マトリクス）の設問、特に多項目尺度の設問では、しばしば項目のランダマイズをします。例えば次のような質問です（表側が項目、表頭が選択肢です）。

マトリクス（多項目尺度）

表形式の設問では、回答者は前の項目にどう答えたかを基準にして次の項目を答えていくので、隣接した項目間の回答の相関が高くなる傾向があります。このデータを、相関を基にした因子分析などの手法で解析する場合、相関への隣接による影響はノイズ（余計な相関）になりますから、項目をランダマイズしてこうした影響をデータから除くようにします。

マトリクスの項目のランダマイズについても、選択肢の場合と同様に、グループ間、グループ内のランダマイズの設定をしたい場合があります。

グループランダマイズ

さて、今度は次のような例を考えてみます。

Q1：今期、日本一になるとあなたが予想するのは？
1 巨人
2 阪神
3 中日
4 ヤクルト
5 横浜
6 広島
7 オリックス
8 ソフトバンク
9 ロッテ
10 日本ハム
11 西武
12 楽天
13 わからない

上記のような選択肢をランダムにする場合、セリーグ（選択肢1～6）とパリーグ（選択肢7～12）の2つのグループがありますので、ランダマイズしてグループをごちゃごちゃにはしたくないですよね。したがって、まずグループ間でランダマイズ（セリーグとパリーグのどちらを先に提示するかランダムに決める）して、次にグループ内でランダマイズする、などのやり方をします。このようなグループランダマイズも時に必要になる機能です。

設問間ランダマイズ

選択肢、項目以外に、設問順のランダマイズをすることもあります。例えば、ワインの試飲を考えてみましょう。いくつかワインの銘柄があって次々に試飲して評価していく場合、どういう順に飲んでいくかが評価に影響する、ということは容易に想像できます。たとえ1銘柄試飲したら水を飲んで口直ししたとしても（アンケートの場合、設問と設問の間に入れてこういった「前の設問の影響を中和させる」効果を狙う設問をフィラー設問と言ったりします）、原理的には順序効果があるのは明らかです。ずっと続けていけば、後の方のワインは泥酔して評価不能になりますから。

したがって、商品ＰとＱの２つについて評価してもらうようなアンケートの場合、ＰとＱの提示順をランダマイズするということはしばしば行われます。これが設問のランダマイズの典型例です。また、Ｐについて3問、Ｑについて3問質問するような場合は、複数の質問からなる設問群単位でランダマイズを行う、ということになります。

さらにこの後、「商品Ｐと商品Ｑのどちらが好ましいですか」というような相対比較をする場合、Ｐ→Ｑという順で答えてきた人には選択肢もＰ、Ｑの順、Ｑ→Ｐの順で答えてきた人にはＱ、Ｐと選択肢を並べたいですから、設問のランダマイズ順を選択肢の順番に引き継ぐ、といった機能が必要になります。

回答者/提示刺激のランダム割付

商品ＰＱの両方を評価させるのではなく、ある人にはＰを、ある人にはＱを評価させて結果を比較したい、というアンケートもあります。一般にA/Bテストといわれる調査です。

この場合には、選択肢や設問ではなく、回答者をランダムに割り付けるという機能が必要になります。回答者をランダムに2グループに分けて、1グループにはＰの質問を、もう一つのグループにはＱの質問を答えさせる（該当しない商品の質問はスキップする）、という飛び先でコントロールするやり方もできますし、完全に同内容の質問であれば、同じ質問で提示する商品だけを変化させるというやり方もできます（回収後グループ別のクロス集計をして比較する）。

もう一つ考慮事項をあげると、ランダムに割り付ける時の割付数のコントロールがあります。

ランダムに割り付ける、ということは、2グループの数は完全に同数にはなりません（これは標本誤差の問題なので、回答者数が多くなればほぼ同数になりますが、少ない場合は偏りが出ます）。これを避けるために、単純にランダムに割り付けるのではなく、1人目はＰ、次の回答者はＱ、次の回答者はＰ・・・というように、数が均等になるようにランダム割付する方法もあります（ローテーションと呼びます）。