ChatGenTitle：使用百万arXiv论文信息在LLaMA模型上进行微调的论文题目生成模型

News

🎉🎉 正式发布LLaMa-Lora-7B-3 和 LLaMa-Lora-7B-3-new 版本的LoRA模型权重，允许本地部署使用；
🎉🎉 完成了基于alpaca-lora 上进行的LLaMa-Lora-7B-3和LLaMa-Lora-13B-3模型微调；
🎉🎉 开始了一项长期进行在arXiv上定时爬取cs.AI 、cs.CV 、cs.LG 论文的任务，目的是为了支持 CS 相关方向的研究；
🎉🎉 整理了220W+篇arXiv论文的元信息，这些元信息包括：title和abstract，更多的有：id、submitter、authors、comments、journal-ref、doi、categories、versions；

Release

Note

Meta发布的LLaMA模型禁止商用，因此这里我们开源的是LoRA模型，LoRA模型必须搭配对应版本的LLaMA模型使用才可以，具体请看Chinese-LLaMA-Alpaca #合并模型

模型名称	微调数据	微调基准模型	模型大小	微调时长	微调效果
✅LLaMa-Lora-7B-3	arXiv-50-all	LLaMa-7B	148.1MB	9 hours	点击查看
✅LLaMa-Lora-7B-3-new	arXiv-50-all	LLaMa-7B	586MB	12.5 hours	点击查看
♻️LLaMa-Lora-13B-3	arXiv-100-all	LLaMa-13B	230.05MB	26 hours	点击查看

训练设置

* 实验在A100 (4X, 80GB)上进行

Reference

Knowledge

1. 关于Instruct微调和LoRa微调

Instruct微调和LoRa微调是两种不同的技术。 Instruct微调是指在深度神经网络训练过程中调整模型参数的过程，以优化模型的性能。在微调过程中，使用一个预先训练好的模型作为基础模型，然后在新的数据集上对该模型进行微调。Instruct微调是一种通过更新预训练模型的所有参数来完成的微调方法，通过微调使其适用于多个下游应用。 LoRa微调则是指对低功耗广域网（LoRaWAN）中的LoRa节点参数进行微调的过程，以提高节点的传输效率。在LoRa微调中，需要了解节点的硬件和网络部署情况，并通过对节点参数进行微小调整来优化传输效率。与Instruct微调相比，LoRA在每个Transformer块中注入可训练层，因为不需要为大多数模型权重计算梯度，大大减少了需要训练参数的数量并且降低了GPU内存的要求。 研究发现，使用LoRA进行的微调质量与全模型微调相当，速度更快并且需要更少的计算。因此，如果有低延迟和低内存需求的情况，建议使用LoRA微调。

2. 为什么会有LLaMA模型和LoRA两种模型？