pip install gradio==3.41.2
pip install torch torchvision torchaudio #2.0.1
pip install transformers==4.33.2
pip install peft==0.5.0
python make_instruction_dataset.py
- input - output 형태로 데이터를 변환하는 과정과 train/valid/test로 split하고 현재 disk에 저장하기 위한 code
./run_train.sh
학습 option
- model_name_or_path : 다운 받을 모델의 이름 또는 path
- max_length : 생성할 text의 길이
- eval_step : 평가 주기를 정하는 옵션
- learning_rate : 학습률
- num_train_epochs : 학습 에폭
- per_device_train_batch_size : 학습 batch size
- per_device_eval_batch_size : 평가 batch size
- dataset_path : 학습 시킬 데이터 위치
- output_dir : 모델 저장 위치
- model_path = "./work_dir2/checkpoint-15837" 부분을 다운 받은 모델 경로로 수정후 demo.py 실행
python demo.py