/CoAtNet

This is a classification task based on CIFAR10,Accuracy is about 87%(without pre-training),The net is CoAtNet(0-5,total coatnet family),with the confusion matrix and acc&loss visualization

Primary LanguageJupyter Notebook

注意:
如果”cifar10直接练“找不到cifar10就把CIFAR10函数里面的路径改一下,
改到你有cifar10的地方,例如root="~/data",然后把cifar10仍data里,或者简单的就是
加个download=True的参数

如果"cifar10有验证集"找不到数据集就在dataset.py里面去找路径,对应上就行了


CoAtNet是谷歌在21年一月份提出的一个模型,相较于ViT有很好的泛化性(当然相对于纯
ResNet还是不如的,因为毕竟attention很吃预训练,cifar10太小了,不过大的数据集也
跑不起来,我这个都跑了两天,700的代金卷都跑欠费了....)

因为这个而是华为云上跑的,所以batchsize非常大,应该是512,自己电脑上就弄小点,
不然会越界

2021.12.15-zxy