Double and Single Descent in Causal Inference with an Application to High-Dimensional Synthetic Control

[nigimitama]

[2305.00700] Double and Single Descent in Causal Inference with an Application to High-Dimensional Synthetic Control

背景

• 機械学習界隈のDouble Descent（複雑性の高いモデルを学習していったとき、過学習によって汎化誤差が増加していっていたのがある点をこえるとまた汎化誤差が降下しはじめる現象）を因果推論のモデルに応用する
• 線形回帰の予測精度においてサンプルサイズより多い共変量を入れたモデルが、よりシンプルなモデルを上回るパフォーマンスを確認した
  • Synthetic Controlでも同様のことが確認された
• この現象の理論面を検討し、複雑なモデルはシンプルなモデルのmodel-averaging estimatorとして解釈できることを示した

線形回帰

線形回帰による賃金の予測精度でもDouble Descentが発生する

回帰係数のノルムもDouble Descentが発生する

係数の加重和（model averaging estimator）という関係性がある

Synthetic Control

このover-parameterized modelでSynthetic Controlを行う

Double ではなくSingle Descentとなった