/asoul-reply

根据文本,自动生成asoul评论区风格的回复。

Primary LanguagePythonMIT LicenseMIT

Asoul-reply

本项目使用来自b站评论区的30w条评论对微调CPM的大模型,并且在此基础上蒸馏而成。

大模型效果:b站视频

本项目是蒸馏后的模型,效果比源模型略低。

安装

首先安装pytorch等基础依赖,再安装APEX以支持fp16:

pip install -r requirements.txt
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

或者使用智源提供的Docker容器。安装方式如下:

docker pull dmye/cpm:v0

参考运行指令如下:

sudo docker run --gpus '"device=0,1"' -it -v <path>:/CPM  --name=cpm  cpm:v0

其中<path>为代码所在目录,-v进行文件目录挂载

使用

下载好模型后放在项目根目录models文件夹中。

提供了命令行交互式生成:

bash scripts/generate_text.sh

运行该脚本需要两块GPU,运行时每张约占用1.5G显存。