18歳意識調査「コロナ禍とストレス」の調査報告書のレビュー

調査設計に関する疑問点
- 社会調査で対象者の業種除外をする必要があるのか
- バイアス設問の扱い
分析手法に関する疑問点
- 測定方程式のないものを「構造方程式モデリング」と言ってよいのか
- 決定係数（Ｒ２乗）はどの程度重視すべきか
まとめ

TBSラジオリスナーならだれでも知っている荻上チキさんが、「社会調査支援機構チキラボ」というNPOをやっています。

社会調査といっても社会学的な定性調査、一般に「質的研究」といわれるような調査の色合いが強く、自分の専門分野とは違うのですが、少し前に日本財団の「18歳意識調査」の設計・分析をサポートしたという記事があったので、日本財団のHPにアクセスして調査結果の報告を読んでみました。

なお、日本財団といえばチキさんのラジオ番組「SESSION」のスポンサーであるということはよく知られています（失礼、ヘビーリスナーには、です）。

日本財団がスポンサーについたときはいろいろなことを言う人もいたようですが、私自身は別に何も問題とは思いません（意味の分からない方はきにしないでいいです）。むしろラジオ番組にスポンサーがつくことは基本的に喜ばしいことです（「問わず語りの神田松之丞」や「ルネッサンスラジオ」がスポンサーのない時期に心配していた身としては）。

余計なことばかり書きましたが、本題に戻ります。その調査報告書を読んでみて、いくつか気になることがあったので、批評、というか、疑問点を書いてみます。たまたま読んだ方に考えていただければと思います。

ちなみに、分析・報告書は見た限り委託先のリサーチ会社が基本的に作っていて、「チキラボ」の関わりは薄いようです。

調査設計に関する疑問点

社会調査で対象者の業種除外をする必要があるのか

報告書を読むと、対象は17～19歳の男女なのですが、「印刷業・出版業/マスコミ・メディア関連/情報提供サービス・調査業/広告業」の関係者は調査から除外、と記載してあります。

マーケティング・リサーチでは、調査の対象者から同業者およびメディア・調査・広告業関係者を除外するというのは一般的で、それは、マインド的に対象（消費者・顧客）としての立場では答えられないということと、調査内容を競合（とそれにつながる関係者）に知られたくない、というようなことがあるからです。

しかし、「コロナ禍とストレス」というテーマの社会調査で、業種除外が必要なんでしょうか。

バイアス設問の扱い

調査ではコロナ禍による閉塞感の質問をしていて、周囲の人の閉塞感についてのクエスチョネアは

「Q コロナ禍で社会の閉塞感が増しているといわれます。あなたは、周りの人が閉塞感を感じていると思いますか」

というものです。

この設問は、私には典型的なバイアス設問に思えるのですが、どうでしょうか。

別に、バイアスをかけた設問をすることが必ずしも問題ではない、と私は考えますが、調査結果の報告で、この設問の回答と「Q　あなた自身は、コロナ禍で閉塞感を感じていますか」に対する回答を比較して、「自分より周囲の方に多く閉塞感を感じている」というようなコメントがついています。

この比較のためには、この設問文はどうなのだろう、という疑問を感じます。

分析手法に関する疑問点

測定方程式のないものを「構造方程式モデリング」と言ってよいのか

この調査では「統計分析結果報告書（速報版）」という冊子が作成されています（ちなみに、最終版はまだできていないか、公開されていないようです）。

統計分析結果報告書では、見た限り、因子分析、カテゴリカル因子分析、パス解析、ロジスティック回帰分析を行っていて、このため「統計分析結果」と銘打っているようです（クロス集計だって統計分析といってよいと思いますが）。

さて、「構造方程式モデリング」というスライドの前後の説明とパス図をみると、因子分析で尺度構成したスコアを観測変数として、パス解析をしているようです。

この手法自体はよくあるし、特に問題とも思いませんが、測定方程式/潜在変数はない、つまり尺度構成部分はモデルに取り込まないで、「構造方程式モデリング」と言えるのか、ということがすこしばかり疑問です。

パス解析は構造方程式モデリングに包含されると考えれば気にしなくてもいいのですが、ミスリーディングな気もします。

また、パス図でおそらく存在しないパス（矢印）が図に書き加えられているようです。

具体的に言うと、「女性」から「外出の減少」に有意なパスがあり、また「外出の減少」から「ストレス」に有意なパスがある、というのが分析結果なので、女性は外出の減少を介してストレスが高くなっている、ということが結果そのものです。

ここに、「女性」から「ストレス」へのパス（係数なし）を引いてしまっていて、あたかも間接効果以外に直接効果もあるような図になっています。

私が思うに、女性のストレスが高いということを伝えたいために、存在しないパスを図に加えているのではないでしょうか（気持ちはわかる）。

決定係数（Ｒ２乗）はどの程度重視すべきか

「閉塞感」を目的変数として、行動変化や属性からロジスティック回帰分析を行っています。で、この決定係数が0.052と書いてあります（ロジスティック回帰なので、重回帰の決定係数ではなく「なんたらかんたら（忘れた）のR2乗」）。
　
記載してあるだけ誠実といえるのですが、5％だけ説明できるモデルだということをどう見たらいいのか、疑問を感じました。
　
この手のデータ（意識調査の、個票ベースの分析）の回帰分析で、決定係数を重視する必要性はないと私自身は考えているのですが、それにしても0.052だとなんとなく不満を感じます。