wantedly/machine-learning-round-table

[2024/3/6]推薦・機械学習勉強会

Opened this issue · 4 comments

Hayashi-Yudai commented

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！

What

Wantedly では隔週水曜日に

  • 推薦の評価指標について議論したい
  • 〇〇っていうライブラリ / フレームワークを導入してみたい
  • 他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
  • もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。
この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！
会の間に話した内容もここにメモしましょう！

prev: #235

chimuichimu commented

Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data Platform

概要

Netflixのデータ基盤におけるAuto Remediation（自動復旧）の取り組みについての記事。ジョブが失敗したときに、ルールベースと機械学習モデルを組み合わせて自動的に復旧する仕組みを本番環境に導入しており、この仕組みにより運用の効率化を実現している。

背景

  • Netflixのデータ基盤では1日あたりに数十万のワークフローと百万のジョブが実行されている
  • ジョブが失敗した時の調査、復旧を人手で行うのは運用の負荷が大きい
  • 従来NetflixはPensiveというルールベースでジョブ失敗時の診断と再実行を行う仕組みを作っていたが、システムが大きくなるにつれ、以下のような課題が生じた
    • 非一時的なエラー（例：メモリ設定に由来するエラー）に対処できない
    • ルールは人手で追加しなければならず、それをしないと分類できないエラーが増えていく

MLモデルを使ったAuto Remediation (自動復旧)

仕組み

image

  • 従来のルールベースによる診断とMLモデルによるアクションの提案を組み合わせた仕組み
  • ルールベース（Pensive）
    • ジョブ失敗の通知をスケジューラから受け取り、関連するログを収集
    • ログの情報から正規表現でエラーを特定し、取るべきアクションを判断する
  • MLモデル（Nightingale）
    • Prediction Model
      • ジョブが再実行で成功する確率の予測
      • retry実行時のコスト（＄）の予測
    • Optimizer
      • 上記２つの予測に基づき、最適（＝再実行の失敗確率✖️コストが最も小さい）なSparkの設定の提案

本番運用での成果

  • メモリ設定に由来するエラーの56%を、人間が介入することなく自動で解消
  • 再実行に係るコストを50%削減
Hayashi-Yudai commented

情報検索の評価指標の弱点と選択バイアスを考慮した改善アプローチ

オフラインテストとオンラインテストの結果が一致しない問題についてZOZOで行っている対処法を紹介している。

  • 評価指標の多様化
    • nDCGだけではなく、購入数カバー率や新旧のロジックでの推薦アイテムの類似度を評価指標に組み込むことで、大幅なユーザー体験の悪化を生むロジックをオンラインテストに出すのを防いでいる
  • 評価指標の工夫
    • 選択バイアスをIPSを使って軽減したnDCGを評価指標として利用→ABテストとオフラインテストの相関の改善
hakubishin3 commented

Introducing the next generation of Claude

Anthropic社が「Claude 3」をリリース
コストと性能が異なる3種類のモデル(Haiku, Sonnet, Opus)を用意

ベンチマークによる比較だと、テキスト・画像認識のパフォーマンスはGPT-4を超えているとのこと

感想：X でも定性的に良さそうな雰囲気のポストが投稿されている、試しにChatGPTからClaudeに移行してみる

nogawanogawa commented

バンダイナムコのパーソナライズ機能を支えるML基盤のニアリアルタイム化

  • 前半はIP戦略とML活用の話
    • 知的財産に関して最適なタイミングで提供し、その価値の最大化するためにMLを活用しているとのこと
  • 後半は記事推薦に関して、ニアリアルタイムな方式に変えたとのこと
image

完全にオンライン推論ではなく、30分毎に更新する処理を行うことでニアリアルタイムに推薦を更新する模様。
直近の記事を推薦に載せることも結構たいへんなので、リアルタイム性への折り合いの付け方の一つの方法な気がした。

  • ❤️2