/CoalQA

使用煤矿历史事故案例,事故处理报告、安全规程规章制度、技术文档、煤矿从业人员入职考试题库等数据,微调internlm2模型实现针对煤矿事故和煤矿安全知识的智能问答。

Primary LanguagePython



煤矿安全大模型————矿途智护者

本项目简介:

近年来,国家对煤矿安全生产的重视程度不断提升。为了确保煤矿作业的安全,提高从业人员的安全知识水平显得尤为重要。鉴于此,目前迫切需要一个高效、集成化的解决方案,该方案能够整合煤矿安全相关的各类知识,为煤矿企业负责人、安全管理人员、矿工提供一个精确、迅速的信息查询、学习与决策支持平台。 为实现这一目标,我们利用包括煤矿历史事故案例、事故处理报告、安全操作规程、规章制度、技术文档以及煤矿从业人员入职考试题库等在内的丰富数据资源,通过微调InternLM2模型,构建出一个专门针对煤矿事故和煤矿安全知识智能问答的煤矿安全大模型。

本项目的特点如下:

  • 支持煤矿安全领域常规题型解答,如:单选题、多选题、判断题、填空题等 (针对煤矿主要负责人及安管人员、煤矿各种作业人员)
  • 支持针对安全规程规章制度、技术等文档内容回答(如《中华人民共和国矿山安全法》、《煤矿建设安全规程》)
  • 支持煤矿历史事故案例,事故处理报告查询,提供事故原因详细分析、事故预防措施以及应急响应知识
类别 底座 名称 版本 下载链接 微调方法
对话模型 InternLM2-Chat-1_8B CoalMineLLM_InternLM2-Chat-1_8B V1.0 OpenXLab QLora
对话模型 InternLM2-Chat-7B CoalMineLLM_InternLM2-Chat-7B V1.0 OpenXLab QLora
对话模型 InternLM2-Math-7B CoalMineLLM_InternLM2-Math-7B V1.0 OpenXLab QLora
对话模型 InternLM2-Chat-20B CoalMineLLM_InternLM2-Chat-20B V1.0 OpenXLab QLora
对话模型 InternLM2-Chat-1_8B CoalMineLLM_InternLM2-Chat-1_8B-full V1.0 OpenXLab 全量微调
对话模型 CoalMineLLM_InternLM2-Chat-7B CoalMineLLM_InternLM2-Chat-7B-4bit V1.0 OpenXLab W4A16量化

📍 架构图





📬 NEWS

  • [2024/06/09] 发布项目解说以及演示视频项目B站视频
  • [2024/06/05] CoalMineLLM_InternLM2-Chat-1_8V1.0版已部署上线https://openxlab.org.cn/apps/detail/milowang/CoalQAv1
  • [2024/06/03] 发布CoalMineLLM_InternLM2-Chat-20B模型到OpenXLab。
  • [2024/06/01] 发布CoalMineLLM_InternLM2-Chat-1_8B、CoalMineLLM_InternLM2-Math-7B模型到OpenXLab。
  • [2024/05/31] 发布CoalMineLLM_InternLM2-Chat-7B模型到OpenXLab。
  • [2024/05/22] 我们启动了煤矿安全领域的大模型项目。

🗂️ 目录

🚴 快速使用

本地Demo部署

git clone https://github.com/yaosenJ/CoalQA.git
cd CoalQA
conda create -n CoalQA python=3.10.0 -y
conda activate CoalQA
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
pip install -r requirements.txt
cd web_app
streamlit run streamlit_app.py --server.address=127.0.0.1 --server.port 6006

在线体验

CoalMineLLM_InternLM2-Chat-1_8版体验地址:https://openxlab.org.cn/apps/detail/milowang/CoalQAv1

详细指南

环境配置

git clone https://github.com/yaosenJ/CoalQA.git
cd CoalQA
conda create -n CoalQA python=3.10.0 -y
conda activate CoalQA
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
pip install -r requirements.txt

数据构造

模型微调

RAG

部署

案例展示













人员贡献

yaosenJ: 项目发起人,负责数据构造、模型微调、文档整理

kaiwang0112006: 负责数据构造、模型部署、测试

qzd-1: 负责RAG

Volta-lemon: 负责模型微调、测试

Hao813: 负责数据收集、架构图绘制

💡 致谢

我们非常感谢以下这些开源项目给予我们的帮助:

最后感谢上海人工智能实验室推出的书生·浦语大模型实战营,为我们的项目提供宝贵的技术指导和强大的算力支持!