不正回答者の傾向を分析で紐解く
Satisficing回答者(「適当に」回答する人)の予測に関する実験調査結果の続きとなります。
前回記事に調査概要や項目などを載せておりますのでご覧ください。
今回はロジスティック回帰分析を用いて回答者の傾向を分析しています。使用変数と分析から見えてくるものを解説します。
前回記事に調査概要や項目などを載せておりますのでご覧ください。
今回はロジスティック回帰分析を用いて回答者の傾向を分析しています。使用変数と分析から見えてくるものを解説します。
使用変数
まず、予測する目的変数(応答変数、y)は、トラップ質問への反応です。
トラップ設問(回答する選択肢を指示)に、
指示された選択肢を選ばなかった(間違った)人=1
指示された選択肢を正しく選んだ人=0
の2値変数として、これを予測します。
予測に使う説明変数(x)は、以下の通り12変数あります。
▼デモグラフィック属性
X1: 性別(女性ダミー) 男性=1、女性=2
X2: 年齢 20~39の数量
▼時間に関するパラデータの変数
X3: アンケート回答に要した時間(秒)の対数 (裾の長い分布になるので、対数変換します)
X4: 回答時期(100分位)1~100の数量
アンケート開始したときから早い段階で回答した人~後の方で回答した人を100分位にします。回答者総数は3000人なので、1は最初の30人、100は最後の30人です。早期回答者にはSatisficingが多いのではないか、という仮説にもとづいています。
▼Satisficingに関連する意識(7件法、13項目、項目順はランダマイズ)から作成した変数
X5: ストレートライナー 該当:1、非該当:0
13項目について、ほぼ同じ選択肢を選んだ人です。具体的には、13項目の回答分散が0.1未満の人を該当としました。
X6: 斜めストレートライナー 該当:1、非該当:0
13項目を、斜めに直線的に答えた人です。
13項目の提示順と、回答選択肢の相関係数の絶対値が0.7より大きい人を該当としました。
X7:周期的回答者 該当:1,非該当:0
13項目について、1,2,3,2,1,2,3,2,1・・・とか、1,2,3,4,5,6,7,6,5,4,3・・・といった感じでS字型(または逆S字型)のような周期的な回答をした人です。
具体的には、13項目の提示順に回答を並び替え、1~12のラグ(周期)の自己相関の最大値(絶対値)が0.7より大きい人を該当としました。
X8:完全主義(傾向) 数量
13項目のうち、次の3項目に寄与する因子のスコアです。これらの項目は、Schwartz et al. (2002)のMAXIMIZATION尺度(最高追及者尺度)の一部を翻案してつくったものです。
この尺度は、意味合い的に、「完全主義(傾向)」と名付けました。
・友人へのプレゼントを選ぶのに悩むことがよくある
・ショッピングでは、本当に好きな服を見つけるのに苦労する
・物事を正確に伝えるのは難しいので、手紙やメールを何度も書き直す
▼回答デバイスの変数(パラデータ)
X9: ジェネリックAndroid 該当:1、非該当:0
X10: その他のAndroid(OEM、いわゆる「格安スマホ」を多く含む) 該当:1、非該当:0
X11: iPhone 該当:1、非該当:0
X12: WindowsPC 該当:1、非該当:0
回答者のユーザーエージェントからは、OSやブラウザの情報も得られますが、これらはデバイスと相関が非常に高いため、デバイス情報のみを使います。
上記4デバイス以外、ほぼMacといってよいですが、これがベースカテゴリーになります(これを係数0とする)。
トラップ設問(回答する選択肢を指示)に、
指示された選択肢を選ばなかった(間違った)人=1
指示された選択肢を正しく選んだ人=0
の2値変数として、これを予測します。
予測に使う説明変数(x)は、以下の通り12変数あります。
▼デモグラフィック属性
X1: 性別(女性ダミー) 男性=1、女性=2
X2: 年齢 20~39の数量
▼時間に関するパラデータの変数
X3: アンケート回答に要した時間(秒)の対数 (裾の長い分布になるので、対数変換します)
X4: 回答時期(100分位)1~100の数量
アンケート開始したときから早い段階で回答した人~後の方で回答した人を100分位にします。回答者総数は3000人なので、1は最初の30人、100は最後の30人です。早期回答者にはSatisficingが多いのではないか、という仮説にもとづいています。
▼Satisficingに関連する意識(7件法、13項目、項目順はランダマイズ)から作成した変数
X5: ストレートライナー 該当:1、非該当:0
13項目について、ほぼ同じ選択肢を選んだ人です。具体的には、13項目の回答分散が0.1未満の人を該当としました。
X6: 斜めストレートライナー 該当:1、非該当:0
13項目を、斜めに直線的に答えた人です。
13項目の提示順と、回答選択肢の相関係数の絶対値が0.7より大きい人を該当としました。
X7:周期的回答者 該当:1,非該当:0
13項目について、1,2,3,2,1,2,3,2,1・・・とか、1,2,3,4,5,6,7,6,5,4,3・・・といった感じでS字型(または逆S字型)のような周期的な回答をした人です。
具体的には、13項目の提示順に回答を並び替え、1~12のラグ(周期)の自己相関の最大値(絶対値)が0.7より大きい人を該当としました。
X8:完全主義(傾向) 数量
13項目のうち、次の3項目に寄与する因子のスコアです。これらの項目は、Schwartz et al. (2002)のMAXIMIZATION尺度(最高追及者尺度)の一部を翻案してつくったものです。
この尺度は、意味合い的に、「完全主義(傾向)」と名付けました。
・友人へのプレゼントを選ぶのに悩むことがよくある
・ショッピングでは、本当に好きな服を見つけるのに苦労する
・物事を正確に伝えるのは難しいので、手紙やメールを何度も書き直す
▼回答デバイスの変数(パラデータ)
X9: ジェネリックAndroid 該当:1、非該当:0
X10: その他のAndroid(OEM、いわゆる「格安スマホ」を多く含む) 該当:1、非該当:0
X11: iPhone 該当:1、非該当:0
X12: WindowsPC 該当:1、非該当:0
回答者のユーザーエージェントからは、OSやブラウザの情報も得られますが、これらはデバイスと相関が非常に高いため、デバイス情報のみを使います。
上記4デバイス以外、ほぼMacといってよいですが、これがベースカテゴリーになります(これを係数0とする)。
不正回答の判断基準
上記に示した説明変数を使って、トラップ設問への反応を予測します。反応は2値変数なので、ロジスティック回帰分析を使用しました。
データは、3000人のうち70%(2100人)を使用し、残りの900人は予測精度の検証用に使います。まずは、全変数を投入した結果が下記になります。
データは、3000人のうち70%(2100人)を使用し、残りの900人は予測精度の検証用に使います。まずは、全変数を投入した結果が下記になります。
回帰係数がプラスの場合は、トラップ質問に間違った選択をしている、つまりSatisficing傾向がある、とみることができます。
X1性別(女性ダミー)は、回帰係数がマイナスなので女性の方がSatisficing傾向は低いですが、有意な差ではありません(p>0.05)。
X2年齢は全く関係がないですが、これは今回の実験が20~30代に年齢を限定したからかもしれません。
Satisficing傾向に影響があるのは(係数が有意)、X3回答時間(対数)、X5ストレートライナー、X8完全主義的傾向、X10その他のAndroidデバイス使用者、という変数になっています。
X1性別(女性ダミー)は、回帰係数がマイナスなので女性の方がSatisficing傾向は低いですが、有意な差ではありません(p>0.05)。
X2年齢は全く関係がないですが、これは今回の実験が20~30代に年齢を限定したからかもしれません。
Satisficing傾向に影響があるのは(係数が有意)、X3回答時間(対数)、X5ストレートライナー、X8完全主義的傾向、X10その他のAndroidデバイス使用者、という変数になっています。
回答時間が短い人
回答時間(対数)は負に影響、つまり回答時間が短い人ほどSastisficing傾向です。これとストレートライナーはSatisficing回答のあきらかな特徴といえるので、これらが関係することは予想どおりです。
大雑把な性格の人
完全主義的傾向は負に影響、つまり完全主義の人はSatisficing傾向が弱いということになります。逆に言えば大雑把な性格の人の方がSatisficing回答しがちということです。
Androidユーザー(格安スマホ利用者)
その他のAndroidユーザーがプラスの影響、Satisficing傾向があるということは、1つには、PCでの回答者に比べると、スマートフォン回答者の方がアンケートインターフェイスと回答環境(屋外や移動中の回答など)による影響で間違って回答をつけやすいということが推測されます。
もう一つ、その他のAndroidユーザーというのはいわゆる「格安スマホ」ユーザーなので、スマートフォン購入の傾向としてブランドや品質より価格を重視するというようなタイプの人が、Satisficingという行動をしやすい心理的傾向と通底するなにかがあるのかもしれません。
もう一つ、その他のAndroidユーザーというのはいわゆる「格安スマホ」ユーザーなので、スマートフォン購入の傾向としてブランドや品質より価格を重視するというようなタイプの人が、Satisficingという行動をしやすい心理的傾向と通底するなにかがあるのかもしれません。
まとめ
完全主義のような性格や、使用デバイスがSatisficing回答と関連しているということは、Satisficing回答者をあまり分析から除外しすぎてしまうと、おおらかな性格の人や価格重視の商品選択特性がある人が除かれるというバイアスを調査結果に与えてしまうかもしれない、ということになります。
したがって、やはり回答者がSatisficing行動を起こさないような調査内容、依頼のしかたが調査のクオリティの上では重要だといえます。
以上で調査目的上参考になる知見は得られたのですが、次回は予測の検証をしてみましたので、もう少しだけ詳細な分析結果をご紹介します。
したがって、やはり回答者がSatisficing行動を起こさないような調査内容、依頼のしかたが調査のクオリティの上では重要だといえます。
以上で調査目的上参考になる知見は得られたのですが、次回は予測の検証をしてみましたので、もう少しだけ詳細な分析結果をご紹介します。
18 件