TencentCloud/tione-tilearn-angel

腾讯云TI平台tilearn-angel训练推理加速最佳实践案例集

Tione Tilearn Angel案例集

1. 训练加速

详细内容请参考文档 tilearn-llm, T平台训练加速功能介绍

具体demo见benchmark文件夹和benchmark/README.md

附录

可选：自定义镜像使用tilearn-llm、tilearn.ops

镜像中的 torch.version=='2.1.2'，其他版本请联系加速团队

# tilearn-llm>=0.9.3 
# tilearn.ops>=0.2.1.172
pip3 uninstall -y tilearn.llm tilearn.ops
pip3 install tilearn-llm==0.9.3 -i https://pypi.tuna.tsinghua.edu.cn/simple 
pip3 install tilearn.ops==0.2.1.172 -i https://g-bnvx3728-pypi.pkg.coding.net/tione/tilearn/simple
wget https://tione-public-cos-1308945662.cos.ap-shanghai.myqcloud.com/tilearn/hybrid_parallel/colossalai-0.3.4.1-cp310-cp310-linux_x86_64.whl
pip3 install colossalai-0.3.4.1-cp310-cp310-linux_x86_64.whl

可选：平台镜像内更新tilearn-llm、tilearn.ops版本

在镜像内更新最新的 tilearn.llm 和 tilearn.ops 包

# tilearn-llm>=0.9.3 
# tilearn.ops>=0.2.1.172
pip3 uninstall -y tilearn.llm tilearn.ops
pip3 install tilearn-llm==0.9.3 -i https://pypi.tuna.tsinghua.edu.cn/simple 
pip3 install tilearn.ops==0.2.1.172 -i https://g-bnvx3728-pypi.pkg.coding.net/tione/tilearn/simple

Acknowledgement

本案例集受益于 ColossalAI, transformers, LLaMA-Factory, flash-attention 和 pytorch, 感谢以上作者的付出。