LaiXinyi823/FlagPerf

FlagPerf is an open-source software platform for benchmarking AI chips.

FlagPerf

FlagPerf是一款面向AI异构芯片的通用基准测试平台。我们希望探索开源、开放、灵活、公正、客观的AI芯片评测体系，提供行业价值，促进AI产业生态发展。 更多模型及框架支持持续开发中，欢迎加入共同建设，助力AI产业生态发展。

---

支持列表

under review表示对应case的支持已开发完毕，在review中；Incoming表示正在添加或计划添加中；N/A表示不支持或尚无计划添加

训练列表

你可以点击模型或训练框架来跳转到对应case的训练脚本，✅来跳转到对应厂商的运行配置。

模型	框架	英伟达	昆仑芯	天数智芯	华为昇腾
BERT	PyTorch	✅	✅	✅	N/A
	Paddle	✅	✅	✅	N/A
	MindSpore	N/A	N/A	N/A	Incoming
CPM	PyTorch	✅	✅	✅	N/A
GLM(medium)	PyTorch	✅	✅	✅	N/A
ResNet50	PyTorch	✅	✅	✅	N/A
	TensorFlow2	✅	N/A	N/A	N/A
	MindSpore	N/A	N/A	N/A	under review
MobileNetV2	PyTorch	✅	✅	✅	N/A
	MindSpore	N/A	N/A	N/A	Incoming
VisionTransformer	PyTorch	✅	✅	✅	N/A
FasterRCNN	PyTorch	✅	✅	✅	N/A
	MindSpore	N/A	N/A	N/A	Incoming
BigTransfer	PyTorch	✅	✅	✅	N/A
Wav2Vec2	PyTorch	✅	✅	N/A	N/A
EfficientNet	PyTorch	✅	✅	✅	N/A
MaskRCNN	PyTorch	✅	N/A	✅	N/A
RetinaNet	PyTorch	✅	N/A	✅	N/A
Tacotron2	PyTorch	✅	✅	✅	N/A
WaveGlow	PyTorch	✅	✅	N/A	N/A
Transformer	PyTorch	✅	✅	✅	N/A
SwinTransformer	PyTorch	✅	N/A	✅	N/A
DLRM	PyTorch	Incoming	N/A	N/A	N/A
RNNT	PyTorch	Incoming	N/A	N/A	N/A
Llama(7B)	MindSpore	N/A	N/A	N/A	Incoming
	Paddle	under review	N/A	N/A	N/A
Llama(13B)	MindSpore	N/A	N/A	N/A	Incoming
	Paddle	Incoming	N/A	N/A	N/A
GLM(6B)	MindSpore	N/A	N/A	N/A	Incoming
GLM(13B)	MindSpore	N/A	N/A	N/A	Incoming
GPT3(6.7B)	Paddle	Incoming	N/A	N/A	N/A
GPT3(13B)	Paddle	Incoming	N/A	N/A	N/A
yolov5_large	PyTorch	Incoming	Incoming	N/A	N/A
T5_small	PyTorch	✅	Incoming	N/A	N/A
GPT2	PyTorch	under review	Incoming	N/A	N/A
TransformerXL	PyTorch	Incoming	Incoming	N/A	N/A
whisper	PyTorch	Incoming	Incoming	N/A	N/A
DistilBERT	PyTorch	Incoming	Incoming	N/A	N/A
Roberta	PyTorch	Incoming	Incoming	N/A	N/A
DETR	PyTorch	Incoming	Incoming	N/A	N/A
Longformer	PyTorch	Incoming	Incoming	N/A	N/A

推理列表

你可以点击模型来跳转到对应case的推理脚本及结果。

模型	英伟达+tensorrt/inductor	昆仑芯+xtcl	天数智芯+ixrt
resnet50	f32/f16	f32	f16
BertLarge	f32/f16	under review	Incoming
VisionTransformer	f32/f16	under review	N/A
Yolov5_large	f32/f16	Incoming	Incoming
Stable Diffusion v1.4	f32/f16	Incoming	N/A
SwinTransformer	f32/f16	Incoming	N/A
Llama2-7B-mmlu	f32/f16	N/A	N/A
Aquila-7B-mmlu	fp16	N/A	N/A
DLRM	Incoming	N/A	N/A
RNNT	Incoming	N/A	N/A

训练部署及启动说明

训练文档

推理部署及启动说明

推理文档

贡献代码

本项目目前由北京智源人工智能研究院、天数智芯、百度PaddlePaddle、昆仑芯、华为昇腾、华为昇思MindSpore共同建设中。 诚邀各框架、芯片、编译器团队与个人参与！

联系我们

flagperf@baai.ac.cn

许可证

本项目基于Apache 2.0 license。
本项目的代码来源于不同的代码仓库，关于各模型测试Case的情况，请参考各模型测试Case目录的文档。