aws-samples/jp-rag-sample

[Feature Request] Claude Instant 対応

maekawataiki opened this issue · 2 comments

RAG においては Claude Instant でも十分要約と出典のリストが可能なためレイテンシとコストの低い Claude Instant のサポートもあると良い。

料金の差

instant のほうが安い
https://aws.amazon.com/jp/bedrock/pricing/?nc1=h_ls
Screenshot 2023-10-09 at 11 32 30

レイテンシー

low-latency との触れ込みがある
Screenshot 2023-10-09 at 11 34 09

たしかに、
https://github.com/ysekiy/jp-rag-sample/blob/d32c6c034304f8c20933b6896ef51f60aef08[…]y/backend/api/fargate/src/langchain/app/chain/claude_bedrock.py

を変えて、defaultをinstantにしておくほうが良さそうですね。

#16

dry-run&approve おねしゃす。