# 線形回帰 ## 定義 線形回帰(linear regression)は、応答変数(response variable)を1つ以上の予測変数(predictor variable)の線形関数として推定・予測する統計モデルであり、予測変数が1つだけの場合を単純線形回帰(simple linear regression)と呼ぶ。良いモデルとは、観測点とモデル直線を垂直に結ぶ距離(残差、residual)がなるべく小さいモデルであり、この距離の二乗和(Sum of Squared Errors, SSE)を、誤差の平均をゼロに保つ制約のもとで最小化する直線を最良のモデルとする基準を最小二乗基準(least-squares criterion)と呼ぶ。この制約付き最小化は誤差の分散を最小化する問題と等価であり、パラメータb0(切片)・b1(傾き)は予測変数と応答の平均・積和から閉じた式で一意に求まる(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]] §14.1-§14.2)。 回帰を使わず常に平均応答を予測値とした場合の誤差二乗和を総変動(total sum of squares, SST)と呼び、これは回帰で説明される変動SSR(=SST-SSE)と説明されない変動SSEに分解できる(SST=SSR+SSE)。自由度も同じ形で加法的に分解する(n-1=1+(n-2))。SSR/SSTの比を決定係数(coefficient of determination, R^2)と呼び、回帰の当てはまりの良さを表す。誤差の標準偏差seは、SSEを自由度n-2で割った平均二乗誤差(mean squared error, MSE)の平方根として求める(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]] §14.3-§14.4)。 回帰パラメータb0・b1は単一の標本から得た統計量であり、t分布の分位点t[1-α/2;n-2]を使って100(1-α)%信頼区間を構成できる。区間がゼロを含めば、そのパラメータはその信頼水準でゼロと有意に異なるとは言えない。予測に対する信頼区間は、m個の将来観測の平均に対するものと、単一の将来観測(m=1)に対するものとで別物であり、後者の方が将来観測自体の誤差項が加わる分だけ常に広い(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]] §14.5-§14.6)。 線形回帰の妥当性は次の4つの前提に依存する: (1) yとxの真の関係は線形である、(2) 予測変数xは確率的でなく誤差なく測定される、(3) モデル誤差は統計的に独立である、(4) 誤差は平均ゼロ・一定の標準偏差を持つ正規分布に従う。これらは統計的検定の代わりに、散布図・残差対予測値プロット・残差の観測順プロット・正規分位点-分位点プロットという視覚的検定で近似的に確認する(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]] §14.7)。 ## 拡張: 重回帰・カテゴリ予測子・曲線回帰・変換(Jain 1991, ch.15) [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 15 Other Regression Models]]は、単回帰(上記の定義節)が持つ「予測変数は1つ・量的変数・応答との関係は線形」という3つの制約を、それぞれ緩める4つの技法を示す。 - **重回帰(multiple linear regression)**: 予測変数をk個に増やした y = b0 + b1x1 + ... + bkxk + e のモデル。行列表記 y = Xb + e、パラメータ推定 b = (XᵀX)⁻¹(Xᵀy)、変動の配分(SST = SSR + SSE)・決定係数・信頼区間の式は単回帰から自然に一般化されるが、全体の当てはまりを検定する分散分析(ANOVA、F検定)が新たに加わる。単回帰では予測変数が1つしかないためF検定はb1=0の検定に一致し不要だったが、重回帰では独立に必要になる(Source: ch.15 §15.1, §15.1.1)。 - **多重共線性(multicollinearity)**: 予測変数どうしが相関(線形従属)を持つ状態。全体のF検定は有意なのに個々のパラメータのt検定はどれも有意でないという矛盾した結果を生みうる。対処は予測変数間の相関を計算し、相関の高い変数の一方を除いて回帰をやり直し、全体の有意性が改善するか確認することである。予測変数を増やすことは常に回帰を改善するとは限らず、他の予測子と相関する変数を加えるとむしろ統計的な精度を落とす(Source: ch.15 §15.1.2)。 - **カテゴリ予測子(categorical predictor)**: CPU種別のような非量的変数を0/1の指示変数で符号化して回帰に組み込む。k水準のカテゴリはk-1個の指示変数で符号化する。k番目の水準は他の指示変数がすべて0であることで表され、k個目の指示変数を追加しても既存のk-1列と切片列(すべて1の列)から一意に定まる冗長な列にしかならない——これは多重共線性そのものであるため、k個ではなくk-1個を使う。全ての予測子がカテゴリ変数なら、本技法よりも[[実験計画法]]の要因計画(factorial design)の方が統計的に精度が高い結果を与えるとJainは明言しており、本技法は大半が量的でごく一部だけがカテゴリである混合予測子の場合に限るべきとする(Source: ch.15 §15.2)。 - **曲線回帰(curvilinear regression)**: y=bxᵃ のような非線形関係を対数変換で ln y = ln b + a ln x という線形形式に帰着させ、単回帰・重回帰の手続きをそのまま適用する。y=a+b/x、y=1/(a+bx)、y=abˣ など複数の非線形形式が対応する変換で線形化できる。同じ予測変数が複数の変換後の項に現れると相関しやすく、重回帰と同じ多重共線性の問題を再び招く(Source: ch.15 §15.3)。 - **変換(transformation)によるモデル前提の回復**: 残差の分散が予測値に依存して変化する(不等分散性)場合、標準偏差対平均のプロットから対数・平方根・逆正弦・オメガ・べき乗の各変換を選んで分散を安定化できる。べき指数aが未知の場合はBox-Cox族(aを連続パラメータとして扱う変換族)を使い、複数のaでSSEを計算してSSE最小のaを選ぶ。aの100(1-α)%信頼区間はSSEminを基準にt分位点で構成し、区間がa=1を含めば変換不要(線形関係のまま)という仮説を棄却できない(Source: ch.15 §15.4)。 - **外れ値(outlier)**: 統計的検定だけで機械的に含める・除くを決めるべきではなく、実験誤差の可能性を排除したうえで分析者の判断に基づくか、含める場合と除く場合を両方報告するか、操作領域を分割して別モデルを作るのが実務的な対処である(Source: ch.15 §15.5)。 - **よくある誤り(11項目)とチェックリスト(17項目)**: 線形性の視覚検証を省く、自動化ツールの出力を視覚確認なしに信頼する、パラメータの絶対値を単位を無視して比較する、決定係数R²と相関係数Rを混同する(R=0.8ならR²=0.64であり80%ではない)、測定範囲外へ外挿する、予測変数を増やしすぎる、良い予測変数が良い制御変数だとは限らない、といった誤りをBox 15.2のチェックリストに集約する(Source: ch.15 §15.6, Box 15.2)。 ## 横断的知見 - **多重共線性への対処として本書が示す「2^k通りの全部分集合を試す」という発想は、統計学習側の縮小推定・変数選択アルゴリズムが解こうとする問題と同じ根を持つが、探索戦略が全く異なる**: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 15 Other Regression Models]] §15.1.2は、相関の高い予測変数群から適切な部分集合を選ぶ最も単純な方法として、k個の候補から2^k通りの全部分集合を試し少ない変数で良い結果を与えるものを選ぶ、という力まかせの列挙を提示する。これに対し[[最小角回帰]]が扱うforward-stepwise選択やLARは、全部分集合を列挙する代わりに、応答と最も相関する変数から連続的に係数を動かし別の変数が追いつくたびに活性集合へ加えるという逐次的な手続きで同じ「どの予測変数を残すか」という問題を解く。Jain(1991)が力まかせの列挙で足りるとした背景には、当時の性能評価で扱う予測変数の数kが小さい(せいぜい数個)という実務的な事情があり、pがNに近い・あるいはNを超えるような高次元の設定でLAR的な逐次解法が要請される統計学習の文脈とは、同じ多重共線性・変数選択の問題でも要請される計算量のスケールが異なる。(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 15 Other Regression Models]] §15.1.2, [[最小角回帰]]) ## 未解決の問い - 本ページの前提(2)は「予測変数xは確率的でなく誤差なく測定される」というものだが、xの測定に誤差が含まれる場合(errors-in-variables)にb0・b1の推定がどう歪むかは第14・15章いずれの範囲外であり、触れられていない。 - 独立性の視覚的検定には万能な手続きが存在せず、あるテストに通ることは「そのテストでは依存性を見つけられなかった」ことしか意味しないと本章は明言する。依存性は実証できても独立性は実証できないという非対称性が、他の統計的検定手法(例えば時系列の自己相関検定)とどう関係するかは未検討。 - 決定係数R^2が高いことと、モデルがシステムの挙動を正しく表現していることは別の基準である可能性(相関はあるが因果的に無意味な回帰)について、ch.15 §15.6の誤り2(図15.5)は視覚的な反例を示すが、なぜ高R^2でも誤った関数形になりうるかの一般論(交絡・非線形性の隠蔽など)までは踏み込んでいない。(解決の一部: 図15.5の存在自体は確認できたため、この問いは「視覚的な反例の確認」から「なぜそれが起きるかの一般論の不在」へ焦点が絞られた。) - ch.15 §15.2は「全予測子がカテゴリ変数なら要因計画(第20章の一要因実験など)の方が精度が高い」と明言するが、なぜ回帰による符号化より要因計画の方が分散が小さいのか(数学的な理由)は[[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 20 One-Factor Experiments]]にも示されない(この対応は[[実験計画法]]concept側にも記録した)。 - ch.15のBox-Cox族は残差の等分散性(homoscedasticity)を回復するための変換だが、[[実験計画法]]ch.18が扱う「効果の加法性を回復するための対数変換」とは目的が異なる。両者が同じ変換(対数)を選ぶ場合があるとして、それは偶然の一致か、等分散性と加法性の間に構造的な関係があるためかは、いずれの章でも明示されていない。 ## 関連 - source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]] / [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 15 Other Regression Models]] - 概念: [[回帰の評価指標]](決定係数R^2・RMSEなど回帰の評価指標という主題の機械学習側からの記述) / [[信頼区間]](本ページの回帰パラメータ・予測・Box-Cox指数aの信頼区間が使うt分布に基づく区間構成の一般手続き) / [[実験計画法]](変動の配分・視覚的検定という診断ツールを共有する第17・18章の要因実験、および§15.2が代替として指し示すPart IVの要因計画) / [[最小角回帰]](多重共線性・変数選択という同じ問題を逐次解法で解く統計学習側の対応物) ## 出典 - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 14, §14.1-§14.7. - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 15, §15.1-§15.6.