/LLM-Travel

欢迎来到 "LLM-travel" 仓库!探索大语言模型(LLM)的奥秘 🚀。致力于深入理解、探讨以及实现与大模型相关的各种技术、原理和应用。

Primary LanguageJupyter NotebookApache License 2.0Apache-2.0

LLM-Travel

Authour License Apache 2.0 python_version

Introduction

欢迎来到 "LLM-travel" 仓库!探索大语言模型(LLM)的奥秘 🚀。致力于深入理解、探讨以及实现与大模型相关的各种技术、原理和应用。

这里会有什么 🌟

  • 技术讲解: 通过清晰且深入的文章,尽力揭示大语言模型的相关技术,探讨其背后的数学、算法和架构,帮助您理解它们的运作机制。

  • 实用代码实现: 每篇技术文章都会配置相应的实践代码,帮助更好的理解和实现。

  • 解答疑问与讨论: 欢迎提出问题、分享想法,以及想看到哪些内容,一起探讨大语言模型!

加入旅程 🌏

搭乘 "LLM-travel" 列车,一起探索大语言模型的奇妙世界!

已更新内容

Date Title(知乎链接) Code Note
2023-12-16 LLM之Deepspeed实践 Deepspeed实践
2023-11-11 LLM之数据质量 quality_hash.ipynb LLM大模型之大规模数据文本质量(Text Quality)实践一
2023-11-04 LLM之Trainer LLM大模型之Trainer以及训练参数
2023-10-14 LLM之数据处理二 LLM大模型之大规模数据处理工具篇Hadoop-Spark集群安装
2023-10-10 LLM之开源数据整理 LLM_Pretrain_Datasets 开源的可用于LLM Pretrain数据集
2023-10-10 LLM之数据处理一 LLM大模型之大规模数据处理工具篇Hadoop-Spark集群介绍
2023-09-30 LLM之显存占用 memory_precision.ipynb 不同精度下显存占用与相互转换实践
2023-09-29 LLM之精度问题详解 precision.ipynb 精度问题(FP16,FP32,BF16)详解与实践
2023-09-24 LLM之Embedding初始化 embedding_init.ipynb 扩充词表后Embedding和LM_head层的初始化
2023-09-23 LLM之扩充词表 sentencepiece.ipynb 基于SentencePiece扩充LLaMa中文词表实践
2023-09-16 LLM之Generate参数详解 generate_parameter.ipynb Generate/Inference(生成/推理)中参数与解码策略原理及其代码实现
2023-09-09 LLM之Tokenization分词方法 tokenization.ipynb WordPiece,Byte-Pair Encoding (BPE),Byte-level BPE(BBPE)原理及其代码实现