记录看到的关于ChatGPT的学习资源、文章、讨论等。
- 官方介绍：ChatGPT: Optimizing Language Models for Dialogue (openai.com)
- ChatGPT团队背景（共87人）
- 台大陈蕴侬视频（简单介绍）：InstructGPT-ChatGPT前身，从人类回馈中学习_哔哩哔哩_bilibili
- ChatGPT发展历程、原理、技术架构详解和产业未来 （收录于先进AI技术深度解读） - 知乎 (zhihu.com)
- 车万翔：ChatGPT时代，NLPer 的危与机
- 【推荐-李宏毅视频】：ChatGPT原理剖析(youtube.com)，（比较基础，入门可看）
- 【推荐】张俊林：通向AGI之路：大型语言模型（LLM）技术精要 - 知乎 (zhihu.com)
- 【强烈推荐（必看）】符尧大佬文章-拆解追溯 GPT-3.5 各项能力的起源
- 【强烈推荐（必看）】CS224N课件，从Prompting讲到Instruction Tuning到RLHF，把GPT到ChatGPT的演化顺了一遍。
- 【推荐】符尧直播：预训练，指令微调，对齐，专业化：论大预言模型能力的来源
- 解读 ChatGPT 背后的技术重点：RLHF、IFT、CoT、红蓝对抗 - 知乎 (zhihu.com)
- 对话大模型中的事实错误：ChatGPT 的缺陷 (qq.com)
- 【强化学习 229】ChatGPT/InstructGPT - 知乎 (zhihu.com)
- ChatGPT/InstructGPT详解 - 知乎 (zhihu.com)
- ChatGPT是怎样被训练出来的？_哔哩哔哩_bilibili
- 【RLHF】Reinforcement learning from Human Feedback，基于人类反馈的强化学习
-
Illustrating Reinforcement Learning from Human Feedback (RLHF) (huggingface.co)
-
HuggingFace直播录像：https://www.youtube.com/watch?v=EAd4oQtEJOM&ab_channel=HuggingFace
-
PPO算法详解：Proximal Policy Optimization (PPO) Explained | by Wouter van Heeswijk, PhD | Towards Data Science
- 【赛尔笔记】
- In-Context Learning玩法大全 (qq.com)
- 为什么所有公开的对 GPT-3 的复现都失败了？复现和使用GPT-3/ChatGPT，你所应该知道的 (qq.com)
- 【数据集】大规模语言模型训练必备数据集-The Pile：涵盖22类、800GB的多样性文本数据集概述
- 【ChatGPT数据标注指南】https://mp.weixin.qq.com/s/b9QnMtHj6yJfN0goBRSCXg
- GPT1：radford2018improving.pdf (ubc.ca)
- GPT2：Language Models are Unsupervised Multitask Learners (openai.com)
- GPT3：Language Models are Few-Shot Learners (arxiv.org)
- InstructGPT：Training language models to follow instructions with human feedback (arxiv.org)
- Chain-of-Thought (CoT)： Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arxiv.org)
- Let's think step by step: Large Language Models are Zero-Shot Reasoners (arxiv.org)
- 探究In-context Learning：Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? - ACL Anthology
- In-Context Learning中demonstrations正确与否对模型效果影响不大。
- 探究CoT：Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters (arxiv.org)
- CoT中推理的有效性对模型效果影响不大，即使是invalid reasoning steps，也能实现80%~90%的性能。
- 推理与query的relevance以及推理步骤的order是CoT的关键。
- In-context Learning综述：A Survey on In-context Learning (arxiv.org)
- LLM的缩放法则：Scaling Laws for Neural Language Models (arxiv.org)
- SELF-INSTRUCT：使用LLM自动生成指令数据[2212.10560] Self-Instruct: Aligning Language Model with Self Generated Instructions (arxiv.org)
- PPO算法：Proximal Policy Optimization Algorithms (arxiv.org)
- RLHF做摘要任务：Learning to summarize from human feedback (arxiv.org)
- Fine-Tuning Language Models from Human Preferences (arxiv.org)
- WebGPT-WebGPT: Browser-assisted question-answering with human feedback (arxiv.org)
- ToolFormer-Toolformer: Language Models Can Teach Themselves to Use Tools (arxiv.org)
- GPT-3 + RL 全流程训练开源整理 - 知乎 (zhihu.com)
- lvwerra/trl: Train transformer language models with reinforcement learning. (github.com)
- allenai/RL4LMs: A modular RL library to fine-tune language models to human preferences (github.com)
- CarperAI/trlx: A repo for distributed training of language models with Reinforcement Learning via Human Feedback (RLHF) (github.com)
- 一个更简单，更快的GPT，可以快速了解GPT具体实现：karpathy/nanoGPT
- GPT-3 + RL 全流程训练开源整理 - 知乎 (zhihu.com)
- 一堆ChatGPT的开源实现：https://mp.weixin.qq.com/s/5161sf9h2g5oQRSWar2QOQ
- transformers_tasks/readme.md at main · HarderThenHarder/transformers_tasks (github.com)
- 【Alpaca】斯坦福轻量级实现的Instruction-Following Model，以meta的llama作为backbone，在52K个来自ChatGPT的instruction-following demonstrations做微调。
- SELF-INSTRUCT：使用LLM自动生成指令数据
- yizhongw/self-instruct: Aligning pretrained language models with instruction data generated by themselves. (github.com)
-
【NewBing】
-
PerfectPrompt：https://promptperfect.jina.ai/
-
ChatGPT谷歌插件：wong2/chatgpt-google-extension
-
基于 ChatGPT 的微信机器人：AutumnWhj/ChatGPT-wechat-bot
-
ChatGPT 中文调教指南：PlexPt/awesome-chatgpt-prompts-zh
-
基于ChatGPT进行二次开发的一些应用Repo列表：acheong08's list / Awesome ChatGPT (github.com)
-
ChatGPT逆向工程：acheong08/ChatGPT: Reverse engineered ChatGPT API (github.com)
- 【ChatGPT全景图】
- 微软宣布全线整合 ChatGPT，将带来哪些影响？ - 知乎 (zhihu.com)
- ChatGPT技术与商业落地观点评析：主流证券研究机构下的十五篇ChatGPT行业研究报告指引 (qq.com)
- 【购买虚拟手机号使用自己邮箱注册】
- 【淘宝买个号】
- 目前好像不行了
- ChatGPT登录不了的，可以开全局梯子后，重新打开浏览器，进入无痕模式试试。