一些学习笔记的不定期汇总,为自学过程整理并为后续新人进坑提供些帮助。
涉及方向:
- OPU,AI芯片,目前的科研项目;
- Compiler,在读《Engineering a Compiler》,部分习题更新;(大部分内容已完成,发现AI compiler要做的工作和传统编译器有出入,暂停)
- DL,在读《用Python实现深度学习框架》
- Python & Cpp 语言学习,网课和侯捷,书有《流畅的Python》、《深入探索C++对象模型》(语言类暂时搁置,暂不需要,有不会的Google整理解决)
- 其他课程学习笔记,包括算法,图形学等。(全部完成)
update 2023 2-22
- 研一上学期结束,课程考核和期末考试均已结束。
- 重新回归AI芯片,准备接手新项目。
- 完成transformers模型笔记
- tvm前端继续学习
近期自学工作:
- 算子融合部分笔记(compiler tech类学习)
- Conv-BN-ReLU算子融合
- TVM算子融合
- OPU算子融合
- 算子融合常见总结
- Bert model学习(model类学习)
- Dive into Deep Learning Compiler 课程跟进(tvm类课程)
- 机器学习编译二刷和笔记整理(tvm类课程)
- AI编译器原理课程(系统性过一遍,对背景有大致了解)
系统书籍资料视频整理:
- 机器学习编译 — 机器学习编译 0.0.1 documentation (mlc.ai)
- BBuf/tvm_mlir_learn: tvm learn (github.com)
- 陈天奇MLC course
- Dive into Deep Learning Compiler (d2l.ai)
- Apache TVM 中文站 (hyper.ai)
- 【AI编译器原理】系列来啦!我们要从入门到放弃! - 哔哩哔哩 (bilibili.com)
- 机器学习系统:设计和实现 — 机器学习系统:设计和实现 1.0.0 documentation (openmlsys.github.io)
- 了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构? - 知乎 (zhihu.com)
- 《用Python实现深度学习框架》(框架类)
- 《深入理解神经网络——从逻辑回归到CNN》(deep learning基础类)
- 《深度学习》(花书)(deep learning进阶类)