[2023/11/15]推薦・機械学習勉強会
Opened this issue · 5 comments
Why
推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう!
発信のため、ここは public にしてあります。外部からの参加をご希望の方は樋口(https://twitter.com/zerebom_3) まで DM を送るか、Wantedly Visit の募集(https://www.wantedly.com/projects/391912) よりご連絡ください!
What
Wantedly では隔週水曜日に
- 推薦の評価指標について議論したい
- 〇〇っていうライブラリ / フレームワークを導入してみたい
- 他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
- もっと推薦を良くするためにどんなものが必要か議論したい
といった話をする「推薦・機械学習勉強会」を開催しています。
この ISSUE はその会で話すネタを共有するための場所です。
話したいことがある人はここにコメントしましょう!
会の間に話した内容もここにメモしましょう!
prev: #218
Feedback Prize - English Language Learning における擬似ラベルの品質向上の取り組み
第4回 Data-Centric AI勉強会 -コンペLT大会- の登壇資料です
https://dcai-jp.connpass.com/event/298953/
大規模言語モデルの自動評価における冗長バイアスの調査
LLMには文章が長いほど良い文章であると判断してしまう冗長バイアスが存在するという話。
LLMの訓練をするときには教師データを用意するコストが高いので、人間のフィードバックを使って強化学習するという方法がしばしばある(RLHF)。ただし、RLHFをするにしても人間のコストが高いのは同じで雇用問題になったりもしている。そのため、最近ではフィードバックをするのもLLMというケースが取られることがある(RLAIF)。
そのとき、LLMに冗長性バイアスがあると、訓練によってどんどん長い文章を生成するLLMに成長してしまうという問題があるので、そのバイアスがどれくらいあるのかというのを知る必要がある。ブログではequal opportunityを使ってバイアスの大きさを定量的に評価している。
Recsys2023のconsequencesのワークショプのキーノート1
https://sites.google.com/view/consequences2023/
Michael I.Jordanの「Contracts, Delegation, and Incentives in Decentralized Machine Learning」(「分散化された機械学習における契約/委譲/インセンティブ」)
Michael I.Jordanはカルフォルニア大学バークレー校のコンピュータサイエンス/統計学の教授。
・動画のURL
https://www.youtube.com/watch?v=WRRnsZfcQ9g
・Michael I.Jordanの別の講演を紹介したブログ(内容がほぼ同じ)
https://www.amazon.science/blog/icassp-michael-i-jordans-alternative-view-on-ai
講演の概要
1.分散化された機械学習
1つの汎用的な**集権的な知能ではなく、分散型の知能が集まってネットワーク化されデータを共有して、人々にサービス提供するシステムを目標とすべき。
2.レコメンドについて
古典的なレコメンドは映画のような商品の希少性を考えない場合を想定していた。
レストランの予約や渋滞しない道路のような希少性があるものの場合はレコメンドの再にマッチングの問題を考える必要がある。
3.統計的契約理論
契約理論は情報の非対称性を扱う経済学の分野。
統計的契約理論の例
例1:医薬品の承認プロセス
薬の承認に関して、効果の有無についてABテストを行う。
この時の問題として、製薬会社には検査する薬の候補に関する情報を持っているが、検査機関は検査する薬に関する情報を持っていない情報の非対称性がある。
製薬会社としては、
・効き目のない薬でも一定の確率で承認される可能性がある。
・承認された場合に大きな利益が出る。
・得られる利益に比べて検査の費用が小さい。
のであれば、効き目があるが儲からない薬より、効き目がないが儲かる薬を大量に検査に送った方がよい。
検査の設計について数学的な理論で研究している。
例2:データ収集サービス
Amazon mechanical turkのようなデータを収集するサービスがある。
データによって作成した機械学習の予測精度によって報酬を変えるなど、契約の研究。
関連論文
Mechanisms that Incentivize Data Sharing in Federated Learning
https://arxiv.org/abs/2207.04557
Delegating Data Collection in Decentralized Machine Learning
https://arxiv.org/abs/2309.01837
4.予測を利用した推論(Prediction-powered inference)
機械学習の予測値に対して信頼区間を設定するような話。(ベイズとは違う?)
理解できなかったので、関連する記事を載せておく。
AIを発見のために活用する方法 – 科学を迷わせることなく(How to use AI for discovery — without leading science astray)
https://tiisys.com/blog/2023/11/10/post-129231/
5. 3つの基礎的な分野
現実の問題を解決するには、経済学と統計とコンピュータサイエンスの3つが必要。
タイミーデータ基盤のモデリング設計について
- タイミーのデータ基盤に関する解説記事
- レイヤーを細かく分けることで、ユーザーが多い中、指標の誤りを防ぎつつ、クエリの簡便化をはかっている
Sansan LabsのLLM活⽤から考えるLLMプロジェクトの要点整理 / LLM Project Essentials from Sansan Labs' LLM Use
- Sansan LabsのLLM活用事例
- LLMの得意分野かつ、ペインが大きい箇所を見つけて機能をリリースしている
- 評価データセットを作りリリース基準を事前に作ることが肝要
How LinkedIn Is Using Embeddings to Up Its Match Game for Job Seekers
概要
LinkedInの検索と推薦機能の背後にある主要な技術は、埋め込みベースの検索(embedding based retrieval, EBR)。
LinkedInがどのようにEmbeddingsを使用してジョブシーカー向けのマッチングを改善しているかについてのブログ記事。
EBRインフラストラクチャの構成要素
LinkedInは、エンジニアリングチームがEBRをアプリケーションに使用しやすいように、新しいインフラストラクチャコンポーネントを開発。
EBRインフラストラクチャコンポーネント
複合およびマルチタスク学習モデルの作成
オフラインおよびストリーミング埋め込み生成のためのフィーチャークラウド
ホストされた検索システムの強化
埋め込みバージョン管理の自動化
推論グラフのオーケストレーションのためのモデルクラウド
ジョブ検索の品質向上
EBRの導入により、LinkedInのジョブ検索の精度と関連性が向上。これにより、従来のテキストマッチングに頼っていたジョブ検索が、個人化された意味的マッチングと粒度の向上を実現。
結論
EBRの実装により、LinkedInはメンバーや顧客にパーソナライズされ、関連性の高いコンテンツを提供する能力が大幅に向上。これにより、情報の検索と推薦がより効率的かつ効果的になり、LinkedInプラットフォームと製品体験のさらなる向上の可能性が広がった。