# 決定境界 ## 定義 決定境界(Decision Boundary)とは、分類問題において特徴空間を2つ以上のクラス領域に分ける境界(直線・曲線・超平面・超曲面)である。パーセプトロン・ロジスティック回帰・SVM・ニューラルネットワークは決定境界を表す関数を明示的に学習するのに対し、決定木は領域の分割を繰り返すことで暗黙に決定境界を形成し、k-NNは近傍点の多数決の結果として事後的に決定境界が定まる。線形分離可能なデータでは直線(超平面)、線形分離不可能なデータでは曲線(超曲面)が必要になる(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 2 機械学習で何ができる？]] §2.2)。 ## 横断的知見 - **本書は決定境界を、同一のトイデータ(線形分離可能/不可能)への可視化という経験的な手段で比較する教育法を取り、既存のESL由来のconceptページが持つ解析的な導出と対をなす**: [[決定木]](ESL)は、決定木の予測面が非滑らか(non-smooth)であることを、階層的な分割の性質に起因する構造的弱点として理論的に位置づけるにとどまるが、本書は同じ性質を「決定境界は直線にはならず、領域の分割の繰り返しで矩形状に作られる」と説明したうえで、線形分離可能/不可能な同一データに対する決定木の決定境界を図2-31・図2-32として直接可視化し、読者が数式を追わずに非滑らかさを見て取れるようにする。同じ性質(非滑らかな予測面)が、専門書では分散分解の理論的帰結として、実務入門書では図の見た目として提示されるという対比になっている。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 2 機械学習で何ができる？]] §2.2.6.2, [[決定木]]) - **k-NNの決定境界の滑らかさとハイパーパラメータkの関係について、本書の経験的記述はESLの[[最近傍法]]が形式化するバイアス-バリアンス分解と同じ現象を指している**: 本書は「kの値が増えるほど決定境界が滑らかになりますが、処理時間が増加することに注意してください」と経験則として述べるにとどまるが、[[最近傍法]](ESL)はk最近傍回帰の期待予測誤差を$\mathrm{EPE}_k(x_0)=\sigma^2+\mathrm{Bias}^2+\mathrm{Var}$と分解し、kを増やすとバイアスが増え分散が減るという同じトレードオフを定量的に導く。ただし本書の図2-27〜図2-29はk=3のみを示し、kを変化させたときの決定境界の変化そのものは可視化していないため、経験則の主張を本書内の図だけで直接確認することはできない。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 2 機械学習で何ができる？]] §2.2.5.2, §2.2.5.3, [[最近傍法]]) - **SVMのカーネルトリックによる非線形分離は、本書では図2-22の模式図と図2-17〜図2-20の決定境界比較という2段階の可視化で示され、ESL/[[サポートベクターマシン]]が確立する「特徴空間拡大+内積のカーネル置換」という解析的な仕組みと同じ現象を指す**: 本書は「1次元では線形分離できなかったのが、2次元に変換をすることで線形分離可能になる」という模式図(図2-22)に続けて、同一データに対する線形カーネルSVM(図2-17・図2-18、直線の決定境界)とRBFカーネルSVM(図2-19・図2-20、曲線の決定境界)を並べ、RBFカーネルが非線形に分離できることを視覚的に示す。[[サポートベクターマシン]](ESL/MML)は同じ現象を、特徴写像$h(x)$による内積のカーネル関数$K(x,x')$への置換という数式で導出しており、本書の可視化はその帰結を直接見せる補完関係にある。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 2 機械学習で何ができる？]] §2.2.3.2, §2.2.3.3, [[サポートベクターマシン]]) ## 未解決の問い - 本書はk-NNの決定境界をk=3の1点でしか可視化しておらず、kを変化させたときの決定境界の推移(滑らかさの変化)を同一データ上で示していない。ESLのバイアス-バリアンス分解が予測する滑らかさの変化を、同じ図2-27のデータで実際に可視化すると本書の経験則をどこまで裏付けられるか。 - 本書の決定境界の可視化はいずれも2次元のトイデータに限られる。高次元(実務で扱う多くの特徴量を持つ)問題では決定境界を直接可視化できないが、次元削減による間接的な可視化(次元削減、§2.4.2)がどこまで決定境界の性質を代弁できるかは本章では論じられていない。 - 本書は決定境界の「形状」(直線か曲線か、滑らかか矩形状か)を比較するが、マージンの大きさなど決定境界の「質」を定量的に比較していない。ESL/[[サポートベクターマシン]]のマージン最大化の議論と、本書の視覚的比較を組み合わせて評価する余地はあるか。 ## 関連 - ソース: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 2 機械学習で何ができる？]] - 概念: [[サポートベクターマシン]] / [[決定木]] / [[最近傍法]] / [[アンサンブル学習]] / [[教師あり学習]] / [[機械学習アルゴリズム選択の指針]] ## 出典 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第2章, §2.2.