OOP2023

do homework in oop2023

start at 2023年5月9日 to do work assigned by Dr.Liu

cs106L

研究大模型，特别是深度学习模型，需要一些预备知识。以下是一些关键的领域：

线性代数：深度学习模型大量使用矩阵运算，因此需要对向量、矩阵、张量等概念有深入理解。

概率和统计：这是理解和应用机器学习算法的基础，包括概率分布、期望、方差、协方差、最大似然估计等概念。

计算机科学基础：包括数据结构（如树、图、堆、队列等）、算法（如排序、搜索、优化等）、计算复杂性理论等。

机器学习基础：理解监督学习、无监督学习、强化学习等基本概念，以及常见的机器学习算法，如线性回归、逻辑回归、决策树、随机森林、支持向量机、K-近邻、K-均值、主成分分析等。

深度学习基础：理解神经网络、卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）、生成对抗网络（GAN）等模型，以及反向传播、梯度下降、优化器（如Adam、RMSProp等）、损失函数、正则化、批量归一化、dropout等概念。

编程语言：Python是目前深度学习领域最常用的语言，需要熟练掌握。此外，对于大模型的研究，还需要了解并行计算和分布式计算的基本概念。

深度学习框架：如TensorFlow、PyTorch、Keras等，了解如何使用这些框架构建、训练和测试模型。

计算资源：理解CPU、GPU、TPU等计算资源的基本概念，以及如何有效利用这些资源进行大规模计算。

研究方法：包括如何阅读和理解学术论文，如何设计和执行实验，如何分析和解释结果等。