Mixtral_debug 摘取了mixtral核心门控机制的代码,为其写了注释,也方便读者debug,看看数据流向。 参考资料视频: 1、transformers源码阅读——图解mixtral模型——图解MoE细节