borgwang/tinynn

可以添加transformer ，seq2seq 和 attention 这些吗？

zuowanbushiwo opened this issue · 3 comments

zuowanbushiwo commented

是从知乎上看到的，非常喜欢也这个工程，觉得这个工程对初学者太友好了，比直接使用大深度学习框架，能了解更多的细节。

看了一些transformer 的资料，还是不太理解它是怎么实现的，在网上找的transformer 实现都是基于pytorch 和 tf实现的，没有像这样从头开始实现的。

w32zhong commented

可以参考这个实现：https://github.com/t-k-/pytorchic-bert

虽然也是 pytorch 的，但是除了 autograd 之外基本都是从头的实现。

  • 👍1
zuowanbushiwo commented

非常感谢，我会仔细看的。
但是我其实就是比较关注backward的过程，从我学习rnn的经验看，在看到你的代码 和 深度学习进阶：自然语言处理. 之前，我的理解都i是错的，BPTT的梯度计算真的还是很难的 😄。

borgwang commented

@zuowanbushiwo 很高兴对你有帮助，由于个人原因暂时没有支持 transformer/attention 相关模型的计划，等有空余时间了肯定会看看。如果你已经在 tinynn 上实现了相关的模块，也欢迎提交 MR~