アンサンブル・ラーニング

機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール（英語版） 強化学習 構造化予測（英語版） 特徴量設計（英語版） 表現学習（英語版） オンライン学習（英語版） 半教師あり学習（英語版） 教師なし学習 ランキング学習（英語版） 文法獲得（英語版）
教師あり学習（分類 • 回帰） 決定木（英語版） アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM)（英語版） サポートベクトルマシン (SVM)
クラスタリング BIRCH（英語版） 階層的（英語版） k平均法 期待値最大化法 (EM) DBSCAN OPTICS（英語版） 平均値シフト（英語版）
次元削減 因子分析 CCA ICA LDA（英語版） NMF（英語版） PCA t-SNE
構造化予測（英語版） グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン（英語版） SOM CNN U-Net
強化学習 TD学習 Q学習 SARSA
理論 偏りと分散のトレードオフ 計算論的学習理論（英語版） 経験損失最小化（英語版） オッカム学習（英語版） PAC学習 統計的学習（英語版） VC理論（英語版）
学会・論文誌等 NIPS（英語版） ICML（英語版） ML（英語版） JMLR（英語版） ArXiv:cs.LG
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

アンサンブル・ラーニングはアンサンブル・メソッドを用いた機械学習である。統計や機械学習で使われるアンサンブル・メソッドでは、さまざまな学習アルゴリズムの有限集合を使用することで、単一の学習アルゴリズムよりも優れた結果を得る ^[1]。一連のアルゴリズムの計算は、単一のアルゴリズムの計算よりも時間がかかるが、より浅い計算深度で、ほぼ同等の良好な結果を得ることができる。

アンサンブル・ラーニングの重要な応用領域は、決定木である。大きな決定木は、ルートからリーフまで多くの決定ノードがあり、それらすべてが不確実性の下でトラバースされるため、エラー率と分散が大きくなる傾向がある。たとえば、バギングは多くの小さな決定木を計算し、それらの結果の平均を使用する。これにより、分散（したがってエラー率）が大幅に減少する。

アンサンブルの種類

ベイズ最適分類器

ベイズ最適分類器は、常に次の式の最適解を返す。

${\displaystyle y=\mathrm {argmax} _{c_{j}\in C}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(T|h_{i})P(h_{i})}}$

他のアンサンブルが平均してこの方法を上回ることはできないことを示すことができる。しかし、残念ながら、この方法は、${\displaystyle argmax}$仮説空間内のすべての仮説について反復処理を行い、ほとんどの場合、この空間が大きすぎるため、実際には使用できない。

バギング

バギングは、回帰モデルまたは分類モデルからの複数の予測を組み合わせ、各予測に均等に重み付けし、最後に予測を平均化する ^[2]。

ブースティング

ブースティングは、多くの弱い分類子を1つの強い分類子にマージする。この一般的な手法にはさまざまな実装があり、最も一般的な実装はAdaBoostである。

さらに学習したい人への参考書の例

• 武藤 佳恭：「超実践 アンサンブル機械学習」、近代科学社、ISBN 978-4764905290（2016年12月26日）。
• Zhi‐Hua Zhou：「アンサンブル法による機械学習: 基礎とアルゴリズム」、近代科学社、ISBN 978-4764905375（2017年7月4日）。
• 坂本俊之：「作ってわかる! アンサンブル学習アルゴリズム入門」、シーアンドアール研究所、 ISBN 978-4863542808（2019年5月28日）。

脚注