NLP의 역사부터 Full-Fine Tuning, Lora Tuning, QLora Tuning, LLM Serving까지 한 권의 책에서 다룹니다.
- 책을 읽다가 모르시는 부분들은 이곳에서 소통하실 수 있습니다.
- 카카오 오픈채팅방
자연스러운 한국어로 변환하기 input : VLLM은 대규모 언어 모델을 효율적으로 다루기 위한 라이브러리입니다. Paged Attention 기술을 사용하여 큰 언어 모델을 메모리에 효과적으로 로드하고 빠르게 텍스트를 생성합니다. VLLM의 LLM 클래스는 이러한 모델을 쉽게 다룰 수 있는 인터페이스를 제공합니다. VLLM의 SamplingParams는 텍스트 생성 시 다양한 설정을 조절할 수 있게 해줍니다. 온도, top-k, top-p 등의 옵션을 설정하여 생성되는 텍스트의 특성을 조절합니다.
output : VLLM은 Paged Attention 기술을 사용하여 언어 모델을 메모리에 효과적으로 로드하고 빠르게 텍스트를 생성을 돕는 라이브러리입니다. VLLM의 LLM 클래스는 이러한 모델을 쉽게 다룰 수 있는 인터페이스를 제공하며, VLLM의 SamplingParams는 텍스트 생성 시 temperature, top-k, top-p 등의 옵션을 설정하여 생성되는 텍스트의 특성을 조절하는 다양한 설정을 조절할 수 있게 해줍니다.