リード文（結論ファースト）
LightGBM（ライトGBM）は、大規模データでも高速に学習できる勾配ブースティングフレームワークです。学習速度とメモリ削減は、4 つのコア技術 によって実現されます。
- 葉単位（leaf‑wise）成長
- ヒストグラム分割
- 勾配ベース片側サンプリング（GOSS）
- 排他的特徴束縛（EFB）
GOSS はサンプル側の選別、EFB は排他的な特徴を束ねて次元を圧縮します。直接的な特徴量選択ではありませんが、サンプル数や特徴数を削減することで 計算量が減少し、結果として学習が高速化 します。実務での導入例が報告されており、リードタイム短縮が期待されています。
1. LightGBM の主要技術
1‑1. 葉単位（leaf‑wise）成長
損失削減が最大になる葉を優先的に分割し、木を深く伸ばします。同じ深さの木に比べて表現力が高く学習が速くなりますが、木が偏りやすくなるため 過学習リスクが増大 します。max_depth や min_data_in_leaf で制御することが推奨されます。
| Leaf‑wise（LightGBM） | Level‑wise（XGBoost 等） | |
|---|---|---|
| 分割対象 | 損失削減が最大の葉 | 同一深さの全葉 |
| 学習速度 | 高速 | やや遅い |
| メモリ効率 | 高い | やや低い |
| 過学習リスク | 高め | 低め |
1‑2. ヒストグラム分割
連続特徴量をビンに離散化し、ビン単位で統計を集計します。計算量とメモリ使用量が大幅に削減され、数十億件規模のデータでも高速に学習可能です。ただし、ハードウェアやパラメータ設定に依存します。
1‑3. 勾配ベース片側サンプリング（GOSS）
勾配の絶対値が大きいサンプルは多く残し、勾配が小さいサンプルはランダムに一部抽出して学習に使用します。小さい勾配のサンプルには 増幅係数 が掛けられ、元のデータ分布を近似する仕組みが取られています。これにより サンプル数 N が削減され、計算量が O(N × F) から O(N' × F)（N' < N）へ減少 します。クラス不均衡が強いデータではバイアスが生じやすくなる点に留意が必要です。
1‑4. 排他的特徴束縛（EFB）
同時に非ゼロになることがほとんどない特徴（例：カテゴリのワンホット）を一つに束ね、実質的に次元を圧縮します。結果として 特徴数 F が削減され、ヒストグラム作成や分割探索の負荷が軽減 します。これは特徴を除外する 選択 ではなく、束ねて密に変換 する手法です。さらに、LightGBM はカテゴリ変数を ワンホットエンコーディングなしで直接扱える ため、EFB と組み合わせることでカテゴリ特徴の処理が一層効率化されます。
| EFB の効果 | 内容 |
|---|---|
| 次元圧縮 | 排他的な特徴を 1 ビット列に統合 |
| メモリ削減 | ヒストグラム作成時のビン数が減少 |
| 計算量削減 | 分割探索回数が減少 |
2. パラメータ調整と運用のポイント
2‑1. 主要ハイパーパラメータ
| パラメータ | 役割 | 推奨設定例 |
|---|---|---|
feature_fraction |
各木構築時にランダムに選択する特徴量の割合 | デフォルト 1.0 → 0.8 程度で過学習抑止を検討 |
min_data_in_leaf |
葉に必要な最小データ数 | データ量に応じて 20〜100 |
num_leaves |
木の最大葉数（表現力） | max_depth と併せて上限設定 |
max_depth |
木の最大深さ（leaf‑wise の過度な深さを制限） | 15〜30 を目安に調整 |
early_stopping_rounds |
バリデーションスコアが改善しなくなった時点で学習停止 | GOSS・EFB と併用で過学習リスク低減 |
2‑2. GOSS と EFB の効果を考慮したチューニング
- GOSS：サンプル削減により計算コストが減少するため、
feature_fractionを高めに設定しても学習時間は抑えられます。ただし、クラス不均衡が強い場合はscale_pos_weightなどでバイアス補正を検討してください。 - EFB：次元圧縮により
feature_fractionの効果が相乗的に高まります。疎なカテゴリ特徴が多いデータセットではmax_binを適切に設定し、ビン数が過剰にならないように注意します。
3. 実務での活用例
金融リスク評価
取引履歴や顧客属性といった高次元データに対し、EFB による次元圧縮と GOSS によるサンプル削減を組み合わせ、学習時間が大幅に短縮されたことが報告されています。広告クリック率予測
数億件規模のログデータをリアルタイムで学習し、特徴量の重要度を迅速に把握できる点がクリック率向上施策の意思決定を加速させています。製造業の異常検知
センサーデータをヒストグラム化し、変化が大きいサンプルを GOSS が優先的に学習することで、異常パターンの検出が高速化された事例があります。
いずれのケースでも 「高速にモデルを構築し、前処理負荷を削減」 が共通しており、プロジェクトのリードタイム短縮とリソース削減に寄与しています。
まとめ
LightGBM は 葉単位成長、ヒストグラム分割、GOSS、EFB の 4 つのコア技術が組み合わさり、大規模データでも高速かつメモリ効率良く学習できるフレームワークです。
- GOSS は勾配が大きいサンプルを重点的に残し、勾配が小さいサンプルには増幅係数を掛けてデータ分布を保ちつつサンプル数を削減します。計算コスト削減に寄与しますが、クラス不均衡データではバイアスが生じやすいため、導入前に検証が必要です。
- EFB は排他的な特徴を束ねて次元を圧縮する手法で、特徴量そのものを除外する「選択」ではありませんが、ヒストグラム作成や分割探索の負荷を軽減します。さらに LightGBM はカテゴリ変数をエンコーディングなしで直接扱える点も併せて活用できます。
過学習リスクを抑えるために max_depth や min_data_in_leaf で木の深さや葉のサイズを制御し、 feature_fraction や early_stopping_rounds で特徴量使用率や学習停止基準を調整すれば、計算コストと精度のバランスを最適化できます。金融・広告・製造など、データ量が膨大な領域での導入は特に効果的です。
参考URL
[1] https://www.geeksforgeeks.org/machine-learning/lightgbm-light-gradient-boosting-machine/ [2] https://lightgbm.readthedocs.io/en/latest/index.html [3] https://github.com/lightgbm-org/LightGBM [4] https://en.m.wikipedia.org/wiki/LightGBM
