ModelScope社区提供了开源模型Qwen-7B的快速体验脚本,脚本和运行效果如下所示:
但是脚本本身只有命令行的输出,这里给脚本加了一个基于Gradio简单用法做成的的Web界面,运行后会提供一个Web界面,体验感应该会好一点。运行时先拉取或下载仓库里的文件,然后安装依赖库:
pip install -r requirements.txt
然后用python运行主程序即可:
python Qwen_demo.py
程序会自动从ModelScope社区拉取与上方脚本一致的模型并运行,如下图所示:
经测试,在阿里云服务器上模型的下载速度非常快,V100的显卡也不会爆显存,不过这里的版本号似乎是最小的一个,如果想体验完整的程序,还是得到Qwen的ModelScope页面下载通意千问最新的模型,去Qwen官方的GitHub页下载通意千问官方的体验Demo。相关链接: