weekly useful materials - 06/15 -
Opened this issue · 10 comments
LightGBMのearly_stoppingの仕様が変わったので、使用法を調べてみた
詳細に書かれている記事だけど要はcallback使いましょうということ
古い書き方
# from https://qiita.com/c60evaporator/items/2b7a2820d575e212bcf4#%E3%82%AF%E3%83%AD%E3%82%B9%E3%83%90%E3%83%AA%E3%83%87%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E5%AE%9F%E8%A1%8C%E6%99%82%E3%81%AE%E6%8C%99%E5%8B%95
verbose_eval = 0 # この数字を1にすると学習時のスコア推移がコマンドライン表示される
# early_stoppingを指定してLightGBM学習
gbm = lgb.train(params, dtrain,
valid_sets=[dvalid], # early_stoppingの評価用データ
num_boost_round=10000, # 最大学習サイクル数。early_stopping使用時は大きな値を入力
early_stopping_rounds=10,
verbose_eval=verbose_eval
)
新しい書き方
# from https://qiita.com/c60evaporator/items/2b7a2820d575e212bcf4#%E3%82%AF%E3%83%AD%E3%82%B9%E3%83%90%E3%83%AA%E3%83%87%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E5%AE%9F%E8%A1%8C%E6%99%82%E3%81%AE%E6%8C%99%E5%8B%95
verbose_eval = 0 # この数字を1にすると学習時のスコア推移がコマンドライン表示される
# early_stoppingを指定してLightGBM学習
lgbr = lgb.LGBMRegressor(**params)
lgbr.fit(X_train, y_train,
eval_metric='rmse', # early_stoppingの評価指標(学習用の'metric'パラメータにも同じ指標が自動入力される)
eval_set=[(X_valid, y_valid)],
callbacks=[lgb.early_stopping(stopping_rounds=10,
verbose=True), # early_stopping用コールバック関数
lgb.log_evaluation(verbose_eval)] # コマンドライン出力用コールバック関数
)
コメント
順次移行していきたい
出典
Loss Function Library - Keras & PyTorch
下記のようなロス関数の実装がまとめられているnotebook。
コメント
ありがたい。
出典
2022年 コンピュータビジョン分野のトレンド
xpaper チャレンジの⽚岡さんがGTC2022年で発表した、CV分社の技術トレンドのまとめ。アーキテクチャーのトレンドや各CVタスクでのトレンドに加えて、学習方法やデータ生成についてのまとめもなされている。
コメント
近年の動向をざっくり知るのにめちゃ助かる資料。
出典
DeNA, MoT AI勉強会発表資料「顔認識と最近のArcFaceまわりと」 / Face Recognition & ArcFace papers
顔認識タスクの一般的な取り組み方や使用可能なデータセット、ArcFace以降のSOTAモデルたちをまとめているスライド。
コメント
SOTAの移り変わりが激しい分野なのでとても助かる。
出典
DeNA, MoT AI勉強会発表資料「顔認識と最近のArcFaceまわりと」 / Face Recognition & ArcFace papers
sithu31296 / semantic-segmentation
semantice segmentationのSOTAモデルたちを実装しているライブラリ。
MMsegやsmpよりかは充実していないが、それらには実装されていないものもいくつかある。
コメント
メモ
出典
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem (NAACL 2022)
近くに埋め込まれた単語は近しい意味を持つという健在性を保ちながら単語ベクトルを一次元に圧縮する手法の提案。
コメント
自然言語を一次元連続にするという全く新しい手法で、定性的にも定量的にも結果が出ているのがすごい。
出典
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem (NAACL 2022)
Accelerate BERT inference with Hugging Face Transformers and AWS Inferentia
distilbert-baseをinf1インスタンス用にNeuron SDKで最適化することで、4並列でレイテンシー6msの推論を可能にするチュートリアル。4並列できる分普通のGPUよりも速い。
コメント
inf1インスタンスは普通のgpuインスタンスよりも安いらしいので、使用を検討したいところ。
出典
Accelerate BERT inference with Hugging Face Transformers and AWS Inferentia
スマートデバイス用の高速なアノテーションツール / Fast Annotation system for SmarT devices
サイバーエージェントが開発しているスマートフォン向けアノテーションツールの紹介。
コメント
簡単なラベリングがPCではなくスマホでできると捗りそう。
出典
Hugging face t5-base-japaneseをTensor-RTで高速化してみた
TensorRT + fp16を用いることで、推論速度が1.25 → 0.26まで向上している
コメント
メモ