AI文章生成系统基于pytorch框架使用机器学习中的CPM模型,来实现根据标题智能生成文章的功能。
项目的灵感来源于客户的需求🤑,首先我们团队之前并没有接触😱过通过标题生成文章的这类自然语言方面的项目,但是做过类似的项目,通过GPT2模型根据文章来生成标题。然后,就想着直接逆过程能不能行,就是将输入和输出换了一个方向,相当于原来是文章作为输入,标题作为输出对模型进行训练,换成现在 标题作为输入,文章作为输出对模型进行训练。我们尝试训练了之后,训练出来的模型进行测试发现效果不是很好,这样生成的文章不仅读不通顺,而且存在许多的重复语句,根本达不到客户的需求。经历了这次失败的经验之后,我们也在网上查阅了很多相关的资料,换了一种更加成熟、效果可能更好的模型,CPM(Chinese Pretrained Models)模型👻。
清源 CPM(Chinese Pretrained Models)是北京智源人工智能研究院和清华大学研究团队合作开展的大规模预训练模型开源计划,清源计划是以中文为核心的大规模预训练模型。首期开源内容包括预训练中文语言模型和预训练知识表示模型,可广泛应用于中文自然语言理解、生成任务以及知识计算应用,所有模型免费向学术界和产业界开放下载,供研究使用。[CPM官网] [模型下载] [技术报告] [CPM微调源码] [CPM生成源码]
本项目整体代码是基于python语言实现的,所以我们需要准备好以下开发工具:
- anaconda - anaconda的安装使用可以参考博客anaconda详细安装使用教程。
- pycharm - pycharm安装官网的社区版就够用了,pycharm的安装可以参考博客pycharm从安装到全副武装,学起来才嗖嗖的快,图片超多,因为过度详细!
- 1.打开Anaconda Prompt,输入
conda create -n pytorch python=3.6
创建一个python版本为3.6的虚拟环境。
- 2.进入到pytorch虚拟环境
conda activate pytorch
-
3.在pytorch虚拟环境安装项目运行所必须的第三方库
- 安装pytorch,pytorch下载官网,安装时大家注意自己cuda的版本,没有显卡的可以安装cpu版。pytorch的安装可以参考博客PyTorch 最新安装教程(2021-07-27)
# CUDA 10.2 conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=10.2 -c pytorch
- 安装transformers
pip install transformers=4.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
- 安装jieba分词库
pip install jieba -i https://pypi.tuna.tsinghua.edu.cn/simple
- 安装ttkbootstrap
pip install ttkbootstrap -i https://pypi.tuna.tsinghua.edu.cn/simple
-
4.环境配置配置好了之后,使用pycharm打开项目,并将pycharm链接刚刚配好的pytorch虚拟环境的解释器(python.exe),运行main文件即可🎷。