/DeeplearningExperiments

2020深度学习实验课代码

Primary LanguagePython

当初研究生入学做的一些简单实验，如果对你有帮助，我感到很开心。感谢大家的star！

实验1 Pytorch基本操作

  • pytorch自动求导和梯度截断
  • 要求动手从0实现 logistic 回归（只借助Tensor和Numpy相关的库）在人工构造的数据集上进 行训练和测试
  • 利用 torch.nn 实现 logistic 回归在人工构造的数据集上进行训练和测试
  • 要求动手从0实现 softmax 回归（只借助Tensor和Numpy相关的库）在Fashion-MNIST数据 集上进行训练和测试
  • 利用torch.nn实现 softmax 回归在Fashion-MNIST数据集上进行训练和测试

实验2 前馈神经网络

  • 手动实现前馈神经网络解决二分类、回归、多分类任务
  • 利用pytorch实现前馈神经网络解决二分类、回归、多分类任务
  • 在多分类任务上使用至少三种不同的激活函数并比较实验结果
  • 在多分类任务中分别手动实现和用pytorch实现dropout，并探究不同丢弃率对实验结果的影响
  • 在多分类任务中分别手动实现和用pytorch实现L2正则化，并探究惩罚项的权重对实验结果的影响
  • 对回归、二分类、多分类任务分别选择上述实验效果最好的模型，采用10折交叉验证评估实验结果

实验3 卷积神经网络

  • 手写二维卷积的实现
  • 使用pytorch实现二维卷积
  • 使用PyTorch实现经典模型AlexNet
  • 使用torch.nn实现空洞卷积，要求dilation满足HDC条件（如1,2,5）且要堆叠多层并在至少一个数据集上进行实验
  • 实现给定结构的残差网络，在至少一个数据集上进行实验

实验4 循环神经网络

  • 手动实现循环神经网络 RNN，并在至少一个数据集上进行实验，从训练时间、 预测精度、Loss 变化等角度 变化等角度分析实验结果。
  • 使用torch.nn实现循环神经网络
  • 不同超参数的对比分析（比如hiden_size，batchsize，lr等）
  • 手动实现LSTM和GRU网络
  • 使用Pytorch实现LSTM和GRU模型，至少在一个数据集进行实验并对比实验结果
  • 微博情感分析，使用给定的训练数据集在给定语料库上进行词向量的训练，之后采用卷积网络模型进行多分类实验

实验5 生成对抗网络(待补充)

  • GAN
  • WGAN
  • 异常检测

实验6 图神经网络

  • GCN
  • ST-ResNet
  • DMVST-Net