안녕하세요..!

[SOSONAGI]

일전 답변 감사합니다..!

tabtoyou 님께서 공유해주신 코드를 동일하게 설정하고, 일전 이슈였던 merge_lora_weights 를 실행하면서 아래와 같은 오류가 지속적으로 발생하여 여쭙고자 합니다..!

해당 이슈는 lora_merge_weights.py 실행 및 gradio web_ui 실행 시, model-path 및 base-model을 동시에 불러와도 동일하게 발생합니다..

아래는 에러 메세지 입니다..

Merging weights
Convert to FP16...
Traceback (most recent call last):
File "/home/sosohaja/anaconda3/envs/kollava2/KoLLaVA/scripts/merge_lora_weights.py", line 22, in
merge_lora(args)
File "/home/sosohaja/anaconda3/envs/kollava2/KoLLaVA/scripts/merge_lora_weights.py", line 8, in merge_lora
tokenizer, model, image_processor, context_len = load_pretrained_model(args.model_path, args.model_base, model_name, device_map='cpu')
File "/home/sosohaja/anaconda3/envs/kollava2/KoLLaVA/llava/model/builder.py", line 149, in load_pretrained_model
vision_tower = model.get_vision_tower()
File "/home/sosohaja/anaconda3/envs/kollava2/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1614, in getattr
raise AttributeError("'{}' object has no attribute '{}'".format(
AttributeError: 'LlamaForCausalLM' object has no attribute 'get_vision_tower'

해당 이슈 해결을 위해 LLaVA 원 저자 레포 이슈에서 검색을 한 결과

• transformers 라이브러리 부분에 문제가 있는 거 같습니다.

아래는 제가 검색했던 이슈입니다..

haotian-liu/LLaVA#15
haotian-liu/LLaVA#6

참고로 transformers==4.31.0 버전이며, 2번째 이슈의 경우가 해결책이라 생각하여 해당 라이브러리를 클론 후 재설치 그리고 해당 부분 코드를 수정을 시도해 보려고 했으나, 초보이기에 해당 부분은 불가했습니다..

해당 이슈에 대해 해결방안을 알려주시면 진심으로 감사하겠습니다..!

다시 한번 좋은 소스 공개해 주셔서 감사 드립니다..!

[tabtoyou]

네 제가 말씀드린 것 외에 다른 이슈가 있나보네요..!

사비로 클라우드 GPU 대여해 모델을 학습하다보니, 비용문제로 서버를 닫아놓은 상태입니다.
해당 문제를 바로 체크하기 힘든 점 양해부탁드립니다 😢

새로운 업데이트를 준비하고 있어서,
그때는 merge나 web ui 등도 더 보완하겠습니다!

[SOSONAGI]

수고많으십니다..! 혹시 저희 회사에서 학습 비용 등을 지원 해드리고 싶은데요..!

soonde17@gmail.com 으로 이메일 한통 주시면 세부 지원 내용 등에 대해 협의해 보고 싶습니다!

이메일 기다리겠습니다!

바쁘신데 답변 감사드립니다!