[2023/09/13]Machine Learning 輪講
Opened this issue · 2 comments
nogawanogawa commented
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev.#210
What
話したいことがある人はここにコメントしましょう！
面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！
zerebom commented
Retentive Network: A Successor to Transformer for Large Language Models
- 解説記事
- MicrosoftのTransformerを後継版をRetNetの論文
- Low-Cost inference, Strong Performance, Training Parallelismの3方良しのアーキテクチャとのこと. 3.4倍のメモリー削減, 8.4倍のスループット, 15.6倍のレイテンシを達成
- RNNのInference CostとMemory ComplexityとTransformersのいいとこ取りをしている
- 下記の2つの要素が特に革新的
- multi-head attentionをmulti-scale retentionに置き換えたこと
- 3つの計算パラダイムで並列化したこと
- Parallel representation
- Recurrent representation
- Chunk-wise recurrent representation
- zerebomが拾えた箇所をいくつかPickup
- Transformer内のSoftMaxはとても重いが、シーケンスによって注意する箇所を変更できる機能を持ち、これが精度改善に繋がっている
- RetNetでは、直近のSequentialのほうがWeightが大きいだろうという仮定の元、PosEncodingに置き換えることで精度改善が見込めた
- PosEncodingは複素数平面としてみれば、位置と距離を表現できる(?
- Softmaxを取り除くことで、Transformerの非線形性が失われるので、GroupNormを追加
nogawanogawa commented
Vector Search with OpenAI Embeddings: Lucene Is All You Need
論文URL
https://arxiv.org/abs/2308.14963
著者
Jimmy Lin, Ronak Pradeep, Tommaso Teofili, Jasper Xian
会議
（なし）
背景
昨今のNNの検索への応用は、最近ではembeddingによって表現される表現学習に焦点が当てられている。
現在では、embeddingを用いた検索には多数のembeddingを管理する必要があり、ベクトルデータベースが必要といった主張も少なくない。
現在広く普及しているLuceneベースの検索エコシステムは、表現学習の最近のトレンドへの適応が遅れているかもしれないが、一方で大きな投資を行っており、今後ベクトルデータベースなしで検索にembeddingに組み込む際の機能的な差分は見当たらない。
このように、embeddingを用いた検索は有望であるが、そのためにベクトルデータベースが必要であるということにはならない。
目的
追加のベクトルデータベースなしでembedding検索が十分実用的であることを示す。
アプローチ
- OpenAIの埋め込みを利用することで、追加のベクトルデータベースなしでembeddingを組み合わせた検索を実現する