📖 Data Preprocessing Cookbook 👨🍳
R言語でのモデリングおよび統計解析のためのパッケージを扱うtidymodelsの中から{recipes}, {embed}, {textrecipes} パッケージを使ったデータ前処理、特徴量エンジニアリングの手法を紹介します。
（余力があればPython、scikit-learn preprocessing等を利用した処理手順についても書きます）
TOC
- パッケージ全般
- データ整形
- スケーリング処理
- 特徴量選択（フィルタ法）
- 次元削減
- 不均衡データに対する調整
- 欠損値補完
- kNN
- データ分割
- 特徴量エンジニアリング
- numeric
- categorical
- text
- date and time
- coordinates
Dataset
地価公示データ (land price)
国土交通省 国土数値情報 （地価公示データ 第2.4版 L01 平成30年度 http://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-L01-v2_5.html ）を使用し瓜生真也が作成・加工したものです。
- 地価公示データ… 関東地方(一都六県)のデータを利用
- 平成27年度 国勢調査 従業地・通学地による人口・就業状態等集計
土砂災害・雪崩メッシュデータ (hazard)
国土交通省 国土数値情報（土砂災害・雪崩メッシュデータ 第1.1版 L01 平成23年度 http://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-A30a5.html ）を使用し瓜生真也が作成・加工したものです。
また関連する気象データは
気象庁ホームページ 過去の気象データ・ダウンロード http://www.data.jma.go.jp/gmd/risk/obsdl/index.php より対象地域、対象とする期間 (2016年7月) のデータを瓜生真也が加工・作成しました。
- 九州地方のデータを利用
ビールへの支出データ (beer)
2018年7月から同年9月 (3ヶ月)の日毎の
値
気象庁ホームページ 過去の気象データ検索 http://www.data.jma.go.jp/obd/stats/etrn/index.php より、観測地点「東京」のデータを瓜生真也が加工・作成しました。
Information
Author: Uryu Shinya (@uribo, Twitter: @u_ribo )
License: MIT
Session Info
各スライドの末尾にRのバージョンおよびパッケージを掲載しています。
- R 3.6.0
- local (macOS Mojave)
- docker… Dockerfile is here