/XrayLLama3.2Vision

Xray Large Multi-model Model，基于llama3.2-vision微调Xray的多模态大模型，在4张VA800上基于llama3_2-11b-vision-instruct模型微调。

Primary LanguagePython

XrayLLama3.2Vision

Xray Large Multi-model Model，基于llama3.2-vision微调Xray的多模态大模型，在4张VA800上基于llama3_2-11b-vision-instruct模型微调。详细介绍在博客：https://blog.csdn.net/u012193416/article/details/142735517


GitHub Contributors Issues GitHub pull requests
GitHub Contributors

本文贡献

  • 借助Xray开源数据集，基于llama3_2-11b-vision-instruct训练微调，并开放了用于学术研究的训练lora权重，推理时需要自行加载原始的llama3_2-11b-vision-instruct权重，可借助tools/swift_infer_merge_lora.sh进行权重合并。

数据集

  • OpenI是一个来自印第安纳大学医院的胸部X光片数据集，包括6,459张图像和3,955个报告。

在上述工作中，报告信息都为非结构化的，不利于科学研究。为了生成合理的医学报告，我们对两个数据集进行了预处理，并最终得到了可以用于训练的英文报告。除此之外，为了更好的支持中文社区发展，借助ChatGPT的能力，我们将英文报告进行了中文翻译，并最终形成了可用于训练的数据集。

数据集 数量 下载链接 质量
OpenI-zh 6,423 诊疗报告(英文)、诊疗报告(中文) 、X光影像 低
OpenI-zh-plus 6,423 - 高

快速上手

1.安装环境

git clone https://github.com/modelscope/ms-swift.git
cd ms-swift
pip install -e .[llm]

2.模型推理

模型权重 下载链接 质量 微调方法
checkpoints-XrayLLama3.2Vision-490 results/llama32vision_swift_xray/llama3_2-11b-vision-instruct/v4-20241006-070501/checkpoint-490 低 LoRA

CLI推理

CUDA_VISIBLE_DEVICES=7 swift export \
  --ckpt_dir "/home/lgd/e_commerce_lmm/results/llama32vision_swift_xray/llama3_2-11b-vision-instruct/v4-20241006-070501/checkpoint-490/" \
  --merge_lora true

CUDA_VISIBLE_DEVICES=7 swift infer \
  --ckpt "/home/lgd/e_commerce_lmm/results/llama32vision_swift_xray/llama3_2-11b-vision-instruct/v4-20241006-070501/checkpoint-490-merged/"   \
  --load_dataset_config true

3.模型训练（复现XrayLLama3.2vision）

硬件资源

* 实验在A800 (4X, 80GB)上进行

sh tools/swift/swift_finetune_qwenvl_lora_ds.sh

这里的复现过程非常简单，主要是很多过程我们都为大家准备好了，大家可以随时复现一个自己的XrayLLama3.2Vision。

效果展示

*以下效果来自于低质量的数据训练和权重

影像诊断：

X光影像 诊疗报告(医生) XrayLLama3.2Vision
患者的胸部X光片显示双侧肺部清晰，没有任何合并症、气胸或胸腔积液的迹象。心脏纵隔的轮廓和胸腔的骨质结构都在正常范围内。X光片的印象表明，没有急性心肺功能异常。这表明病人在这个时候有一个健康的呼吸和心血管系统。 胸部X光片显示，心脏大小正常，肺部清晰。没有发现肺炎、渗出、水肿、气胸、腺病、结节或肿块的迹象。X光检查的总体印象是胸部正常。
X光片显示有陈旧性肉芽肿病的后遗症，但肺部清晰，没有任何局灶性固结、胸腔积液或气胸。心脏和纵膈的大小和轮廓正常，表明没有急性心肺功能异常。总的来说，这是一张清晰的胸部X光片。 X光图像显示心脏大小正常，肺部清晰。没有气胸或胸腔积液的迹象。胸椎有轻度的退行性改变。总的来说，X光片中没有观察到急性心肺异常的情况。
研究结果表明，心脏大小和纵隔轮廓正常，肺部清晰，肺血管正常，没有胸腔积液或气孔。此外，观察到胸椎的退行性变化很小。根据印象，没有急性心肺异常的迹象。根据这些结果，病人的整体状况似乎是最佳的。 X光图像显示，心脏大小和纵隔轮廓正常，肺部清晰，骨质结构完整，表明没有急性过程存在。
胸部X光片显示心脏和纵隔轮廓正常，气管旁区域有肉芽肿性钙化，右上叶有轻度条纹状瘢痕。没有发现活动性肺炎或气胸。骨骼结构完整。根据这些发现，没有大叶性肺炎存在。 X光片显示，心脏大小正常，纵隔无异常。肺部清晰，没有急性疾病存在。

项目致谢

  1. XrayGLM为我们提供了数据集；
  2. SWIFT为我们提供了训练框架；

相关项目

  1. XrayLLaVA
  2. XrayLLama3.2Vision
  3. XrayQwen2VL
  4. XrayQwenVL

免责声明

本项目相关资源仅供学术研究之用，严禁用于商业用途。使用涉及第三方代码的部分时，请严格遵循相应的开源协议。模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目无法对其准确性作出保证。即使本项目模型输出符合医学事实，也不能被用作实际医学诊断的依据。对于模型输出的任何内容，本项目不承担任何法律责任，亦不对因使用相关资源和输出结果而可能产生的任何损失承担责任。

使用许可

此存储库遵循CC BY-NC-SA ，请参阅许可条款。