记录了学习Transformer过程中的一些疑问和解答,并且实现Transformer的全过程。
使用演示代码请先对应安装pytorch或者tensorflow2.0。
- Transformer 一篇就够了(一): Self-attenstion
- Transformer 一篇就够了(二): Transformer中的Self-attenstion
- Transformer 一篇就够了(三): Transformer实现细节
conda install pytorch -c pytorch -y
conda install jupyterlab -y
conda install spacy -y