llm-jp/llm-jp-eval-inference

llm-jp-eval-inference

[ English | 日本語 ]

本リポジトリでは主に、llm-jp-eval向けに、次のライブラリを用いた高速なバッチ推論処理を実装を公開します。

• vLLM
• TensorRT-LLM
• Hugging Face Transformers (baseline)

また、Weights & Biases Run管理ツールの実装を公開します。

インストール、推論の実行についてはそれぞれのmodule内README.mdを参照してください。

推論および評価実行方法

llm-jp-evalにおける推論実行方法および評価方法を参考にしてください。