欢迎来到 "LLM-travel" 仓库！探索大语言模型（LLM）的奥秘 🚀。致力于深入理解、探讨以及实现与大模型相关的各种技术、原理和应用。
-
技术讲解: 通过清晰且深入的文章，尽力揭示大语言模型的相关技术，探讨其背后的数学、算法和架构，帮助您理解它们的运作机制。
-
实用代码实现: 每篇技术文章都会配置相应的实践代码，帮助更好的理解和实现。
-
解答疑问与讨论: 欢迎提出问题、分享想法，以及想看到哪些内容，一起探讨大语言模型！
搭乘 "LLM-travel" 列车，一起探索大语言模型的奇妙世界！
| Date | Title(知乎链接) | Code | Note |
|---|---|---|---|
| 2024-04-09 | Transformer实践 | Transformer_torch | Transformer实践 |
| 2023-12-16 | LLM之Deepspeed实践 | 无 | Deepspeed实践 |
| 2023-11-11 | LLM之数据质量 | quality_hash.ipynb | LLM大模型之大规模数据文本质量(Text Quality)实践一 |
| 2023-11-04 | LLM之Trainer | 无 | LLM大模型之Trainer以及训练参数 |
| 2023-10-14 | LLM之数据处理二 | 无 | LLM大模型之大规模数据处理工具篇Hadoop-Spark集群安装 |
| 2023-10-10 | LLM之开源数据整理 | LLM_Pretrain_Datasets | 开源的可用于LLM Pretrain数据集 |
| 2023-10-10 | LLM之数据处理一 | 无 | LLM大模型之大规模数据处理工具篇Hadoop-Spark集群介绍 |
| 2023-09-30 | LLM之显存占用 | memory_precision.ipynb | 不同精度下显存占用与相互转换实践 |
| 2023-09-29 | LLM之精度问题详解 | precision.ipynb | 精度问题（FP16，FP32，BF16）详解与实践 |
| 2023-09-24 | LLM之Embedding初始化 | embedding_init.ipynb | 扩充词表后Embedding和LM_head层的初始化 |
| 2023-09-23 | LLM之扩充词表 | sentencepiece.ipynb | 基于SentencePiece扩充LLaMa中文词表实践 |
| 2023-09-16 | LLM之Generate参数详解 | generate_parameter.ipynb | Generate/Inference（生成/推理）中参数与解码策略原理及其代码实现 |
| 2023-09-09 | LLM之Tokenization分词方法 | tokenization.ipynb | WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)原理及其代码实现 |