このページでは、最小二乗法による回帰直線と相関係数の求め方、重回帰分析と偏相関係数、2値を予測するロジスティック回帰、因子分析などの手法の違いがわかります。
-
記号の書き方(このメモのルール):
- 本来は上に線を引いて表す「否定」「補集合」は、論理なら ¬A、集合なら Aᶜ と書く
- 2乗などのべき乗は 2³、σ² のように書く。log の底は log₂ のように書く
-
一言で言うと:
- データどうしの関係を y=f(x)のような式にして、予測したり、どの要因がどのくらい効いているかを調べたりする話。
要因が1つ(単回帰分析)→ 要因が複数(重回帰分析)→ 結果が「する/しない」の2値(ロジスティック回帰分析)
覚え方の軸
- 説明変数の数と、目的変数の形で3つに分ける:
- 説明変数1つ=単回帰、複数=重回帰、目的変数が0か1=ロジスティック回帰
- 回帰直線は最小二乗法で引く:
- 点と直線の残差の2乗の合計が最小になるように a、b を決める
- 相関係数 r は −1〜1:
- 符号は回帰直線の傾きと同じ。|r|が1に近いほど強い相関、0なら相関なし
- 「見かけの相関(擬似相関)」を疑う:
- 他の変数の影響を取り除いた偏相関係数で確かめる
単回帰分析:要因1つで予測する
- 回帰分析:
- ある変量と、その要因となる変量の関係を統計的に分析し、y=f(x)という数式モデルに当てはめること
- 使いみち:
- 要因から目的の値を推測・予測する。目的の値に影響する要因を探し、影響の大きさを測る
- 目的変数(従属変数):
- 予測したい値 y
- 説明変数(独立変数):
- 要因となる値 x
- 単回帰分析:
- 目的変数に影響する要因(説明変数)が1つの場合の分析
- 線形回帰:
- xとyの関係が y=ax+b のような直線の式で表されるもの
- 例:
- 店舗ごとの広告費xと売上yを散布図にすると、ほぼ直線上に並ぶ → 線形回帰モデル y=ax+b を当てはめる
- 回帰係数(回帰パラメータ):
- 係数a、bのこと
- 最小二乗法(★):
- 点と直線の残差の2乗和が最小になるように a、b を決める方法
- 残差:
- 点Pᵢ(xᵢ,yᵢ)と、そのxでの直線上の点Qᵢ(xᵢ,axᵢ+b)との差。eᵢ=yᵢ−(axᵢ+b)
- 求める式:
- a=Σ(xᵢ−x̄)(yᵢ−ȳ) ÷ Σ(xᵢ−x̄)²
- b=ȳ−a x̄(回帰直線は必ず平均の点(x̄,ȳ)を通る)
- 正規方程式:
- 残差の2乗和Sを a と b でそれぞれ偏微分して0とおいた式(∂S/∂a=0、∂S/∂b=0)。ここから a、b が出る
- 回帰直線:
- 最小二乗法で求めた y=ax+b。「yのxへの回帰直線」という
- 分布の中心的な傾向を示すので、相関が強ければ、xからyの中心的な値を予測できる
- 注意:
- yのxへの回帰直線で、yからxを予測してはいけない。それには「xのyへの回帰直線」を別に求める
- 相関係数 r:
- 回帰直線が「中心的な傾向」を示すのに対し、相関係数は「分布の広がり」、つまりxとyの関係の強さを示す
- r=(xyの共分散)÷(xの標準偏差×yの標準偏差)
- = Σ(xᵢ−x̄)(yᵢ−ȳ) ÷ {√Σ(xᵢ−x̄)² × √Σ(yᵢ−ȳ)²}
- 共分散 Cxy=
- (1/n)Σ(xᵢ−x̄)(yᵢ−ȳ)
- 範囲は −1≦r≦1。符号は回帰直線の傾きの符号と同じ
| r の値 | 意味 |
|---|---|
| |r|=1 | 完全相関(全部の点が回帰直線上。傾きが正なら r=+1) |
| |r|が1に近い | 強い相関(点が直線の近くに集まる。回帰直線が有効) |
| |r|が0に近い | 弱い相関(点が広がっている。回帰直線は有効といえない) |
| r=0 | 相関なし(直線的な傾向がない) |
- 例:
- 3点(1,2)、(2,2)、(3,5)
- 平均:
- x̄=2、ȳ=3
- 偏差:
- x:−1,0,1、y:−1,−1,2
- Σ(x偏差×y偏差)=1+0+2=3、Σ(x偏差)²=2、Σ(y偏差)²=1+1+4=6
- a=3÷2=1.5、b=3−1.5×2=0 → 回帰直線 y=1.5x
- r=3÷√(2×6)=3÷√12 ≒ 0.87(正の強い相関)
重回帰分析:要因が複数あるとき
- 重回帰分析(多元回帰分析):
- 1つの目的変数を、複数の説明変数で推測・予測する分析
- 例:
- 売上yを、広告費x₁と店舗面積x₂で予測する:y=a₀+a₁x₁+a₂x₂
- 説明変数がn個なら y=a₀+a₁x₁+a₂x₂+…+aₙxₙ
- 係数は最小二乗法で求める
- 偏相関係数:
- 2つの変数の関係の強さを、他の変数の影響を取り除いて測る尺度
- 擬似相関:
- 他の変数の影響で生まれた、見かけ上の相関(例:アイスクリームの売上と水の事故の件数に相関があっても、実は両方とも気温の影響かもしれない)
- 単相関係数 r_yx₁:
- x₂をまったく考えないときの、yとx₁の相関係数
- 偏相関係数 r_yx₁・x₂:
- x₂の影響を取り除いたうえでの、yとx₁の相関係数(「・x₂」は「x₂の影響を除いた」という意味)
- 式:
- (r_yx₁ − r_yx₂ × r_x₁x₂)÷ {√(1−r_yx₂²)× √(1−r_x₁x₂²)}
- 注意:
- 単相関係数と偏相関係数は、一般には等しくならない
ロジスティック回帰分析:「する/しない」を予測する
- ロジスティック回帰分析:
- 目的変数が「1か0」の2値のときに使う分析
- ある事象が起こるかどうかを判別するため、説明変数群X(x₁,x₂,…,xₙ)から、その事象が起こる確率を出すモデルを使う
- 出した確率が閾値以上(ふつう0.5以上)なら「1(起こる)」、そうでなければ「0(起こらない)」と判断する
- ロジスティック回帰モデル:
- p(X)= 1 ÷(1+e⁻ˣ)、X=a₀+a₁x₁+…+aₙxₙ
- p(X)は0〜1の間をとるS字の曲線(ロジスティック曲線)になる
- 係数 a₀〜aₙ は最小二乗法などで求める
- e:
- 自然対数の底。ネピア数ともいう。2.71828…と続く超越数
- 例:
- 会員がサービスを解約するかどうか。既存会員の情報(利用年数、月の利用回数、年齢)と解約の有無の関係からモデル式を作り、今の会員の情報を入れて判別する
- ロジスティック回帰分析は2値分類のための分類モデルでもあるので、機械学習では判別認識の手法として使われる
その他の分析手法
- 重回帰分析:
- 従属変数を、2つ以上の独立変数の一次結合式で推定する。係数は最小二乗法で求める
- 因子分析:
- 観測された変数の相関関係から、共通して存在する潜在的な因子を導く手法(目的は「共通因子を見つけること」)
- 主成分分析:
- 多くの変数を、情報をできるだけ失わないようにまとめて、より少ない変数(主成分)に要約する手法(目的は「情報を縮約して見通しをよくすること」)。因子分析とよく混同される
- クラスタ分析(クラスタリング):
- データを、互いに似たものを集めた集団(クラスタ)に分ける手法
- 判別分析:
- 分類がわかっている既知のデータをもとに、未知のデータがどの分類に入るかを判別する手法
混同しやすいペア
- 目的変数(従属変数。予測したいy)/説明変数(独立変数。要因x)
- 単回帰(説明変数1つ)/重回帰(説明変数が複数)/ロジスティック回帰(目的変数が0か1)
- 回帰直線(中心的な傾向。予測に使う)/相関係数(広がり。関係の強さ)
- yのxへの回帰直線(xからyを予測)/xのyへの回帰直線(yからxを予測)
- 単相関係数(他の変数を考えない)/偏相関係数(他の変数の影響を除く)
- 因子分析(共通の因子を見つける)/主成分分析(少ない変数に要約する)
- クラスタ分析(似たものをグループ化。正解なし)/判別分析(既知の分類をもとに振り分ける)