ログイン
お問い合わせ
資料請求
目次
統計解析の結果を前にして、「有意水準」という言葉の解釈に迷われてはいませんか。P値と比較してどのように判断すればよいのか、なぜ一般的に5%という数値が使われるのか、正確に理解できている人は意外と多くありません。
この記事では、統計学の専門知識がない方でも直感的に理解できるよう、有意水準の定義から実務での使い分けまでを解説します。
この記事では、統計学の専門知識がない方でも直感的に理解できるよう、有意水準の定義から実務での使い分けまでを解説します。
有意水準とはどのような指標か
統計的検定において最も重要な概念の一つが有意水準です。これは、得られたデータに見られる差や効果が「偶然の誤差」によるものなのか、それとも「意味のある（有意な）差」なのかを区別するための客観的な「ものさし」が有意水準です。
通常はギリシャ文字のα（アルファ）で表記され、検定を行う前にあらかじめ設定しておく必要があります。
通常はギリシャ文字のα（アルファ）で表記され、検定を行う前にあらかじめ設定しておく必要があります。
なぜ有意水準が必要なのか？
例えば、A案とB案のバナー広告をテストして、クリック率にわずかな差が出たとします。
それは、本当にA案が優秀だからか？
それとも、運悪くB案を見た人の好みに合わなかっただけ（誤差）か？
この「運（誤差）」の影響を排除し、客観的に「意味のある差（有意差）」だと結論づけるために、有意水準というハードルを設けるのです。
それは、本当にA案が優秀だからか？
それとも、運悪くB案を見た人の好みに合わなかっただけ（誤差）か？
この「運（誤差）」の影響を排除し、客観的に「意味のある差（有意差）」だと結論づけるために、有意水準というハードルを設けるのです。
偶然起こる確率の限界ライン
私たちがデータを分析する際、完全に同じ条件で調査を行っても、毎回まったく同じ結果が得られるわけではありません。必ずデータのばらつきや誤差が生じます。
この線引きをするための確率の限界ラインが有意水準です。
統計学の世界において、有意水準は一般的に「5％」と「1％」という数値がよく使われます。
例えば、有意水準を5%に設定するということは、「100回に5回以下しか起こらないような稀な現象が起きたら、それは偶然ではなく何らかの理由（意味）があると考えよう」と決めることを意味します。
逆に言えば、95%の確率で起こるようなことであれば、それは「よくある誤差の範囲内」として処理するという宣言でもあります。この基準があるおかげで、分析者は主観ではなく客観的な確率に基づいて判断を下すことが可能になります。
この線引きをするための確率の限界ラインが有意水準です。
統計学の世界において、有意水準は一般的に「5％」と「1％」という数値がよく使われます。
例えば、有意水準を5%に設定するということは、「100回に5回以下しか起こらないような稀な現象が起きたら、それは偶然ではなく何らかの理由（意味）があると考えよう」と決めることを意味します。
逆に言えば、95%の確率で起こるようなことであれば、それは「よくある誤差の範囲内」として処理するという宣言でもあります。この基準があるおかげで、分析者は主観ではなく客観的な確率に基づいて判断を下すことが可能になります。
帰無仮説を棄却する判断基準
統計的検定では、まず「差がない」「効果がない」という否定したい仮説（帰無仮説）を立てます。そして、実際のデータがこの帰無仮説の下でどれくらい起こりやすいかを計算します。もし計算された確率が、あらかじめ設定した有意水準（例えば5%）よりも低ければ、「これほど稀なことが偶然起きるとは考えにくい」と判断します。
このとき、私たちは「帰無仮説は間違っていた」とみなしてそれを捨て去ります。これを専門用語で「帰無仮説を棄却する」と呼びます。
帰無仮説が棄却されると、対になって立てていた「差がある」「効果がある」という仮説（対立仮説）が採用されることになります。
このとき、私たちは「帰無仮説は間違っていた」とみなしてそれを捨て去ります。これを専門用語で「帰無仮説を棄却する」と呼びます。
帰無仮説が棄却されると、対になって立てていた「差がある」「効果がある」という仮説（対立仮説）が採用されることになります。
-
1万円からWebアンケート調査できるサービス内容を確認する
-
有意差検定も簡単操作で無料コストを抑えてリサーチをする
有意水準とP値の明確な違いは
統計検定の初学者が最も混乱しやすいのが、有意水準とP値の関係です。両者はともに確率を表す0から1の間の数値ですが、その役割は明確に異なります。結論から言えば、有意水準は人間が決める「合格ライン（基準）」であり、P値はデータから計算される「実際のスコア（結果）」です。この2つを比較することで、最終的な判定が行われます。
| 項目 | 有意水準（α） | P値（p-value） |
|---|---|---|
| 定義 | 「稀である」と判断するための基準となる確率 | 帰無仮説が正しいと仮定した時に、そのデータが得られる確率 |
| 決定者 | 分析者が検定の前に決める | データ計算によって自動的に決まる |
| 一般的な値 | 5%（0.05）または1%（0.01） | データごとに異なる（例：0.032, 0.001など） |
| 役割 | ハードルの高さ（基準） | 飛び越えた実績値（結果） |
有意差ありと判定するルール
最終的な結論を出すためのルールは非常にシンプルです。算出されたP値が有意水準よりも小さい場合に、「有意差がある（統計的に意味のある差がある）」と判定します。数式で表すと「P値<有意水準（α）」の状態です。
| 比較結果 | 判断（結論） | 専門用語 |
|---|---|---|
| P値 ＜ 有意水準 | 有意差あり | 帰無仮説を棄却する |
| P値 ≧ 有意水準 | 有意差なし | 帰無仮説を棄却できない |
なぜ一般的に5%が使われるのか
論文やビジネスの現場で統計検定を行う際、特に理由がなければ有意水準を5%（0.05）に設定することがほとんどです。なぜ10%や3%ではなく5%なのでしょうか。実はこの数値には、統計学の歴史的な背景と、実用上のバランス感覚が深く関わっています。
統計学の慣習と経験則
5%という数値が定着した最大の理由は、近代統計学の父と呼ばれるロナルド・フィッシャーの影響によるものです。彼が著書の中で、ある現象が偶然起こる確率として「20回に1回の割合（つまり5%）を目安にすると便利である」と提唱したことが発端と言われています。長年の研究と実務の中で、この5%という値が多くの分野において納得感のある判断基準として機能してきたため、現在でも慣習として広く採用されています。
分野による基準値の使い分け
すべての検定で5%が使われるわけではありません。判断を間違えた際のリスクの大きさによって、分野ごとに適切な有意水準は異なります。一般的には、人命に関わる分野や高い精度が求められる製造現場では、より厳しい基準が採用されます。
「誤った判断をした時に、どれだけの損害や危険が生じるか」を考慮して、分析者が適切に設定する必要があります。
「誤った判断をした時に、どれだけの損害や危険が生じるか」を考慮して、分析者が適切に設定する必要があります。
第1種の過誤と第2種の過誤とは
有意水準を設定して判定を行う以上、そこには必ず「判定ミスのリスク」が潜んでいます。統計学では、どのような間違い方をしたかによって「第1種の過誤」と「第2種の過誤」の2つに分類しています。これらはトレードオフ（あちらを立てればこちらが立たず）の関係にあり、両方のリスクを同時にゼロにすることはできません。検定を行う上では、特に有意水準と直結する「第1種の過誤」について正しく理解しておくことが重要です。
正しい帰無仮説を捨てるリスク
第1種の過誤とは、「本当は差がない（帰無仮説が正しい）のに、誤って差がある（棄却する）と判断してしまうミス」のことです。これは「あわてんぼうの誤り」とも呼ばれます。例えば、全く効果のない薬を、たまたま治った数人のデータを見て「効果がある！」と判定してしまうケースがこれに当たります。
有意水準を5%にするということは、「本当は差がないのに、5%の確率で間違って差があると判定してしまうリスクを許容します」と宣言していることと同じです。このリスクを減らしたい場合は、有意水準を5%から1%へと厳しく設定します。しかし、そうすると今度は次に説明する第2種の過誤のリスクが高まってしまいます。
有意水準を5%にするということは、「本当は差がないのに、5%の確率で間違って差があると判定してしまうリスクを許容します」と宣言していることと同じです。このリスクを減らしたい場合は、有意水準を5%から1%へと厳しく設定します。しかし、そうすると今度は次に説明する第2種の過誤のリスクが高まってしまいます。
誤った帰無仮説を残すリスク
第2種の過誤とは、「本当は差がある（対立仮説が正しい）のに、差があるとは言えない（帰無仮説を棄却しない）と判断してしまうミス」のことです。こちらは「ぼんやり者の誤り」とも呼ばれます。例えば、実際に効果がある薬なのに、データ上の差が微妙だったために「効果があるとは確認できなかった」と見逃してしまうケースです。
有意水準を厳しく（値を小さく）して慎重になればなるほど、第1種の過誤（誤検出）は減りますが、逆にこの第2種の過誤（見逃し）は増えてしまいます。統計検定においても、この2つのリスクのバランスを考慮して有意水準を決めることが求められます。
有意水準を厳しく（値を小さく）して慎重になればなるほど、第1種の過誤（誤検出）は減りますが、逆にこの第2種の過誤（見逃し）は増えてしまいます。統計検定においても、この2つのリスクのバランスを考慮して有意水準を決めることが求められます。
検定を行う際の具体的な手順は
実際に検定を行い、有意水準を用いて結論を導き出すまでの流れを整理します。今はExcelや無料の統計ツールを使えば計算自体は一瞬で終わりますが、その前後にある「設定」と「解釈」こそが人間が行うべき重要な仕事です。正しい手順を踏むことで、分析結果の信頼性を担保することができます。
1. 帰無仮説（H₀）を立てる：
「差はない」と仮定する（例：AとBのクリック率は同じ）。
2. 対立仮説（H₁）を立てる：
「差がある」と仮定する（例：AとBのクリック率は異なる）。
3. 有意水準を決める：
あらかじめ 5% などと決めておく。この段階で、片側検定（AはBより大きいかだけを見る）なのか、両側検定（AとBに差があるかを見る）なのかも決めておく。
4. P値を計算する：
準備ができたらデータを収集し、目的に合った検定手法（t検定、カイ二乗検定など）を選んで統計量を計算します。
現在は手計算を行うことは稀で、統計ソフトやExcelでP値を算出します。
【ExcelでP値を出す便利な関数】
・T.TEST関数： 2つの群の平均値の差を検定する。
・CHISQ.TEST関数： アンケート結果などの比率の差を検定する。
5. 比較・判定：
P値が 0.05(5%)未満なら、帰無仮説を捨てて「差がある（有意）」と結論づける。
1. 帰無仮説（H₀）を立てる：
「差はない」と仮定する（例：AとBのクリック率は同じ）。
2. 対立仮説（H₁）を立てる：
「差がある」と仮定する（例：AとBのクリック率は異なる）。
3. 有意水準を決める：
あらかじめ 5% などと決めておく。この段階で、片側検定（AはBより大きいかだけを見る）なのか、両側検定（AとBに差があるかを見る）なのかも決めておく。
4. P値を計算する：
準備ができたらデータを収集し、目的に合った検定手法（t検定、カイ二乗検定など）を選んで統計量を計算します。
現在は手計算を行うことは稀で、統計ソフトやExcelでP値を算出します。
【ExcelでP値を出す便利な関数】
・T.TEST関数： 2つの群の平均値の差を検定する。
・CHISQ.TEST関数： アンケート結果などの比率の差を検定する。
5. 比較・判定：
P値が 0.05(5%)未満なら、帰無仮説を捨てて「差がある（有意）」と結論づける。
【関連記事】
t検定とは？やり方、分析から分かることを解説
t検定とは？やり方、分析から分かることを解説
-
国内・海外にWebアンケート調査サービス内容を確認する
-
有意差検定などの集計は無料コストを抑えてリサーチをする
【実務例】大手飲料メーカーの「パッケージリニューアル」効果検証
飲料メーカーが、主力商品の野菜ジュースのパッケージを「健康感」を強調したデザインに刷新することを計画し、多額の切り替えコストをかける価値があるか判断するため、一部のエリアで先行テスト販売とアンケート調査を実施したと仮定します。
1. 検定の準備（ルール決め）
分析を始める前に、客観的な判断基準を定めます。
帰無仮説： 旧パッケージと新パッケージで、購入意向率（「買いたい」と答えた人の割合）に差はない。
対立仮説： 新パッケージの方が、購入意向率が高い。
有意水準： 5%に設定。
2. 調査データの収集
新旧それぞれのパッケージを提示し、ターゲット層200人ずつ（計400人）に購入意向を調査しました。
旧パッケージの購入意向率： 30%（200人中60人が「買いたい」）
新パッケージの購入意向率： 38%（200人中76人が「買いたい」）
数値だけ見れば 8% のアップです。「デザイン変更の効果が出た！」とも見えますが、ここで統計的な「有意水準」による判定を行います。
3. P値の算出と判定
統計ツールを用いてP値を算出した結果、以下のようになりました。
算出されたP値：0.088（8.8%）
これを有意水準と比較します。
比較： P値（0.088） ＞ 有意水準（0.05）
判定： 有意差なし
4. 実務での意思決定（ここが重要！）
この結果を受け、次のような判断を下します。
「購入意向率は 8% 上がっているが、この程度の差は、たまたま調査に回答した人の好みの偏り（誤差）によって 8.8% の確率で起こりうる範囲内である。我々が事前に決めた『誤差の可能性 5% 以下』という厳しい基準をクリアしていないため、現時点ではパッケージ変更に確かな効果があると断定し、全国展開に踏み切るにはリスクがある。」
5. 次のアクション
「有意差なし」という結果は、失敗を意味するのではなく、「根拠が不十分である」という重要な示唆です。
・サンプル数の追加： 「差がある可能性は高い」と見て、調査人数を各500人に増やし、精度を高めて再検証する。
・デザインの微調整： 8%の差を「有意」にするほど強力なデザインにするため、再度クリエイティブを見直す。
分析を始める前に、客観的な判断基準を定めます。
帰無仮説： 旧パッケージと新パッケージで、購入意向率（「買いたい」と答えた人の割合）に差はない。
対立仮説： 新パッケージの方が、購入意向率が高い。
有意水準： 5%に設定。
2. 調査データの収集
新旧それぞれのパッケージを提示し、ターゲット層200人ずつ（計400人）に購入意向を調査しました。
旧パッケージの購入意向率： 30%（200人中60人が「買いたい」）
新パッケージの購入意向率： 38%（200人中76人が「買いたい」）
数値だけ見れば 8% のアップです。「デザイン変更の効果が出た！」とも見えますが、ここで統計的な「有意水準」による判定を行います。
3. P値の算出と判定
統計ツールを用いてP値を算出した結果、以下のようになりました。
算出されたP値：0.088（8.8%）
これを有意水準と比較します。
比較： P値（0.088） ＞ 有意水準（0.05）
判定： 有意差なし
4. 実務での意思決定（ここが重要！）
この結果を受け、次のような判断を下します。
「購入意向率は 8% 上がっているが、この程度の差は、たまたま調査に回答した人の好みの偏り（誤差）によって 8.8% の確率で起こりうる範囲内である。我々が事前に決めた『誤差の可能性 5% 以下』という厳しい基準をクリアしていないため、現時点ではパッケージ変更に確かな効果があると断定し、全国展開に踏み切るにはリスクがある。」
5. 次のアクション
「有意差なし」という結果は、失敗を意味するのではなく、「根拠が不十分である」という重要な示唆です。
・サンプル数の追加： 「差がある可能性は高い」と見て、調査人数を各500人に増やし、精度を高めて再検証する。
・デザインの微調整： 8%の差を「有意」にするほど強力なデザインにするため、再度クリエイティブを見直す。
注意点「有意差なし ＝ 差がゼロ」ではない
ここが最も勘違いしやすいポイントです。 検定の結果「有意差なし」となった場合、それは「差がないことが証明された」わけではなく、「今のデータ量では差があると言い切れない」だけかもしれません。
・サンプルサイズの影響：
サンプル数（データ数）が少なすぎると、本当は差があってもP値が大きくなり、「有意差なし」と出やすくなります。
・実務的有意性：
統計的に「有意」であっても、その差がわずか（例：売上が0.001%向上）であれば、ビジネスとして投資する価値があるかは別問題です。
・サンプルサイズの影響：
サンプル数（データ数）が少なすぎると、本当は差があってもP値が大きくなり、「有意差なし」と出やすくなります。
・実務的有意性：
統計的に「有意」であっても、その差がわずか（例：売上が0.001%向上）であれば、ビジネスとして投資する価値があるかは別問題です。
よくある質問
Q
有意水準は必ず5%に設定しなければいけませんか？
A
決まった正解があるわけではなく、分析対象のリスクの大きさによって適切に設定するものです。ビジネス上の意思決定など一般的な場面では5%が広く使われていますが、医療や製造業など、誤った判断が重大な影響を及ぼす分野では1%以下のより厳しい基準が使われることもあります。
Q
P値が0.05を少し超えた場合（例：0.06）は、「差がある」と言ってよいですか？
A
有意水準を5%に設定している場合、厳密には「有意差なし」という判定になります。ただし、0.05という基準はあくまで慣習的な目安であり、絶対的な境界線ではありません。実務では、P値の大きさそのものや、サンプル数を増やした場合にどうなるかも合わせて検討することが望ましいです。
Q
「有意差なし」という結果が出た場合、施策をやめるべきですか？
A
必ずしもそうとは限りません。「有意差なし」は「差がないことが証明された」わけではなく、「今のデータ量では差があるとは言い切れない」ことを意味する場合があります。サンプル数を増やして再検証する、効果をより大きくする施策に見直す、といった次のアクションを検討することが重要です。
Q
第1種の過誤と第2種の過誤、どちらにより注意すべきですか？
A
どちらがより重要かは、判断を誤った際のリスクの大きさによります。例えば新薬の承認のように「効果がないものを効果ありと判定してしまう」リスクが大きい場面では第1種の過誤を厳しく管理し、逆に「本当は効果があるのに見逃してしまう」ことのリスクが大きい場面では第2種の過誤にも注意が必要です。両者はトレードオフの関係にあるため、目的に応じてバランスを取ることが求められます。
Q
片側検定と両側検定は、どのように使い分ければよいですか？
A
「新しい施策の方が優れている」というように、あらかじめ方向性が分かっている場合は片側検定、「差があるかどうか」だけを見たい場合は両側検定を使うのが基本です。ただし片側検定は同じデータでもP値が小さく出やすい（有意差が出やすい）ため、恣意的に使い分けることのないよう、検定を行う前にどちらを使うかを決めておくことが重要です。
Q
Excelがなくても有意差検定はできますか？
A
Excelの関数（T.TEST関数やCHISQ.TEST関数など）を使わなくても、Surveroidのようなアンケートツールに搭載されている集計・分析機能を使えば、有意差検定を自動で実施できる場合があります。統計の知識に自信がない方は、こうしたツールを活用することで、手計算や関数の入力ミスを避けながらスピーディーに判定を行うことができます。
まとめ
記事の要点をまとめます。
・有意水準とは「稀な出来事」と判定するための基準確率であり、P値がこの基準より小さければ「有意差あり」と判断する。
・一般的に5%が使われるのは統計の慣習だが、人命に関わる医療分野などでは1%以下の厳しい基準が採用されることもある。
・第1種の過誤（あわてんぼうの誤り）のリスクを考慮し、分析を始める前に必ず水準を設定しておくことが重要である。
有意水準は、データの背後にある真実を見極めるための強力な手法です。まずは5%という基準の感覚を掴み、P値との比較を通じて客観的な判断を下す練習から始めてみてください。正しい理解に基づく分析は、あなたのビジネス提案や研究成果の信頼性を大きく高めてくれるはずです。
・有意水準とは「稀な出来事」と判定するための基準確率であり、P値がこの基準より小さければ「有意差あり」と判断する。
・一般的に5%が使われるのは統計の慣習だが、人命に関わる医療分野などでは1%以下の厳しい基準が採用されることもある。
・第1種の過誤（あわてんぼうの誤り）のリスクを考慮し、分析を始める前に必ず水準を設定しておくことが重要である。
有意水準は、データの背後にある真実を見極めるための強力な手法です。まずは5%という基準の感覚を掴み、P値との比較を通じて客観的な判断を下す練習から始めてみてください。正しい理解に基づく分析は、あなたのビジネス提案や研究成果の信頼性を大きく高めてくれるはずです。
セルフ型ネットリサーチツール「Surveroid」のご紹介
「Surveroid（サーベロイド）」は、アンケート調査からインタビュー調査まで1つのツールで完結ができるセルフ型のリサーチサービスです。
『アンケートの作成～配信～集計』をご自身で実施することができ、プロの調査会社も使う集計ツールは無料でご利用いただけます。
今回ご紹介した「有意差検定」も簡単に実施いただけます。
ご興味のある方はぜひお問い合わせください。
◆こんな方におすすめ◆
・自社でスピーディーに調査を行いたい
・調査後もしっかり分析したい
・定量・定性の両方を低コストで試したい
『アンケートの作成～配信～集計』をご自身で実施することができ、プロの調査会社も使う集計ツールは無料でご利用いただけます。
今回ご紹介した「有意差検定」も簡単に実施いただけます。
ご興味のある方はぜひお問い合わせください。
◆こんな方におすすめ◆
・自社でスピーディーに調査を行いたい
・調査後もしっかり分析したい
・定量・定性の両方を低コストで試したい
47 件
