awesome-ChatGPT

记录看到的关于ChatGPT的学习资源、文章、讨论等。

ChatGPT整体介绍

  1. 官方介绍:ChatGPT: Optimizing Language Models for Dialogue (openai.com)
  2. ChatGPT团队背景(共87人)
  3. 台大陈蕴侬视频(简单介绍):InstructGPT-ChatGPT前身,从人类回馈中学习_哔哩哔哩_bilibili
  4. ChatGPT发展历程、原理、技术架构详解和产业未来 (收录于先进AI技术深度解读) - 知乎 (zhihu.com)
  5. 车万翔:ChatGPT时代,NLPer 的危与机
  6. 【推荐-李宏毅视频】:ChatGPT原理剖析(youtube.com),(比较基础,入门可看)
    1. ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程 - YouTube
    2. 【生成式AI】ChatGPT 原理剖析 (1/3) — 對 ChatGPT 的常見誤解 - YouTube
    3. 【生成式AI】ChatGPT 原理剖析 (2/3) — 預訓練 (Pre-train) - YouTube
    4. 【生成式AI】ChatGPT 原理剖析 (3/3) — ChatGPT 所帶來的研究問題 - YouTube
    5. 【生成式AI】用 ChatGPT 和 Midjourney 來玩文字冒險遊戲 - YouTube

ChatGPT技术文章

  1. 推荐张俊林:通向AGI之路:大型语言模型(LLM)技术精要 - 知乎 (zhihu.com)
  2. 强烈推荐(必看)】符尧大佬文章-拆解追溯 GPT-3.5 各项能力的起源
  3. 强烈推荐(必看)】CS224N课件,从Prompting讲到Instruction Tuning到RLHF,把GPT到ChatGPT的演化顺了一遍。
    1. CS224N课件 2023 Prompting, Instruction Finetuning, and RLHF
  4. 推荐符尧直播:预训练,指令微调,对齐,专业化:论大预言模型能力的来源
  5. 解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗 - 知乎 (zhihu.com)
  6. 对话大模型中的事实错误:ChatGPT 的缺陷 (qq.com)
  7. 【强化学习 229】ChatGPT/InstructGPT - 知乎 (zhihu.com)
  8. ChatGPT/InstructGPT详解 - 知乎 (zhihu.com)
  9. ChatGPT是怎样被训练出来的?_哔哩哔哩_bilibili
  10. RLHF】Reinforcement learning from Human Feedback,基于人类反馈的强化学习
  1. 【赛尔笔记】
    1. 赛尔笔记 | 浅析ChatGPT的原理及应用 (qq.com)
    2. 赛尔笔记 | ChatGPT第二弹:PPO算法 (qq.com)
  2. In-Context Learning玩法大全 (qq.com)
  3. 为什么所有公开的对 GPT-3 的复现都失败了?复现和使用GPT-3/ChatGPT,你所应该知道的 (qq.com)
  4. 【数据集】大规模语言模型训练必备数据集-The Pile:涵盖22类、800GB的多样性文本数据集概述
  5. 【ChatGPT数据标注指南】https://mp.weixin.qq.com/s/b9QnMtHj6yJfN0goBRSCXg

ChatGPT讨论

  1. 国内有类似ChatGPT能力的模型吗? - 知乎 (zhihu.com)

  2. 如何评价 ChatGPT ?会取代搜索引擎吗? - 知乎 (zhihu.com)

  3. 如何评价 OpenAI 的超级对话模型 ChatGPT ? - 知乎 (zhihu.com)

  4. ChatGPT 印证了模型大一统的可行性,这在未来五年会对 NLP 从业者带来怎样的冲击? - 知乎 (zhihu.com)

  5. 阻碍国内团队研究 ChatGPT 这样产品的障碍有哪些,技术,钱,还是领导力? - 知乎 (zhihu.com)

  6. ChatGPT 结合工业机器人,将锁死发展**家的崛起? - 知乎 (zhihu.com)

  7. 青源Talk第33期丨文本生成中的知识和控制_哔哩哔哩_bilibili

  8. ChatGPT下的知识图谱审视:一次关于必然影响、未来方向的讨论实录与总结 (qq.com)

  9. ChatGPT 有多高的技术壁垒?国内外除了 OpenAI 还有谁可以做到类似程度? - 知乎 (zhihu.com)

  10. 为什么chatgpt的上下文连续对话能力得到了大幅度提升? - 知乎 (zhihu.com)

  11. 为什么Yann lecun(杨立昆)对chatGPT持否定态度? - 知乎 (zhihu.com)

  12. OpenAI 何以掀翻 Google 布局多年的AI大棋? (qq.com)

  13. 李rumor:追赶ChatGPT的难点与平替

ChatGPT相关Paper

GPT系列

  1. GPT1:radford2018improving.pdf (ubc.ca)
  2. GPT2:Language Models are Unsupervised Multitask Learners (openai.com)
  3. GPT3:Language Models are Few-Shot Learners (arxiv.org)
  4. InstructGPT:Training language models to follow instructions with human feedback (arxiv.org)

Prompt

  1. Chain-of-Thought (CoT)Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arxiv.org)
  2. Let's think step by step: Large Language Models are Zero-Shot Reasoners (arxiv.org)
  3. 探究In-context Learning:Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? - ACL Anthology
    • In-Context Learning中demonstrations正确与否对模型效果影响不大。
  4. 探究CoT:Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters (arxiv.org)
    • CoT中推理的有效性对模型效果影响不大,即使是invalid reasoning steps,也能实现80%~90%的性能。
    • 推理与query的relevance以及推理步骤的order是CoT的关键。
  5. In-context Learning综述:A Survey on In-context Learning (arxiv.org)
  6. LLM的缩放法则:Scaling Laws for Neural Language Models (arxiv.org)
  7. SELF-INSTRUCT:使用LLM自动生成指令数据[2212.10560] Self-Instruct: Aligning Language Model with Self Generated Instructions (arxiv.org)

RLHF

  1. PPO算法:Proximal Policy Optimization Algorithms (arxiv.org)
  2. RLHF做摘要任务:Learning to summarize from human feedback (arxiv.org)
  3. Fine-Tuning Language Models from Human Preferences (arxiv.org)

调用外部工具

  1. WebGPT-WebGPT: Browser-assisted question-answering with human feedback (arxiv.org)
  2. ToolFormer-Toolformer: Language Models Can Teach Themselves to Use Tools (arxiv.org)

动手实现ChatGPT/RLHF

  1. GPT-3 + RL 全流程训练开源整理 - 知乎 (zhihu.com)
  2. lvwerra/trl: Train transformer language models with reinforcement learning. (github.com)
  3. allenai/RL4LMs: A modular RL library to fine-tune language models to human preferences (github.com)
  4. CarperAI/trlx: A repo for distributed training of language models with Reinforcement Learning via Human Feedback (RLHF) (github.com)
  5. 一个更简单,更快的GPT,可以快速了解GPT具体实现:karpathy/nanoGPT
  6. GPT-3 + RL 全流程训练开源整理 - 知乎 (zhihu.com)
  7. 一堆ChatGPT的开源实现:https://mp.weixin.qq.com/s/5161sf9h2g5oQRSWar2QOQ
  8. transformers_tasks/readme.md at main · HarderThenHarder/transformers_tasks (github.com)
  9. Alpaca】斯坦福轻量级实现的Instruction-Following Model,以meta的llama作为backbone,在52K个来自ChatGPT的instruction-following demonstrations做微调。
    1. Stanford CRFM官方blog
    2. github repo:tatsu-lab/stanford_alpaca: Code and documentation to train Stanford's Alpaca models, and generate the data. (github.com)
    3. Stanford Alpaca (羊驼):ChatGPT 学术版开源实现 - 知乎 (zhihu.com)
    4. Alpaca-Lora (羊驼-Lora): 轻量级 ChatGPT 的开源实现(对标 Standford Alpaca) - 知乎 (zhihu.com)
  10. SELF-INSTRUCT:使用LLM自动生成指令数据
  11. yizhongw/self-instruct: Aligning pretrained language models with instruction data generated by themselves. (github.com)

ChatGPT应用

  1. NewBing

    1. Reinventing search with a new AI-powered Microsoft Bing and Edge, your copilot for the web - The Official Microsoft Blog

    2. Building the New Bing | Search Quality Insights

  2. PerfectPrompt:https://promptperfect.jina.ai/

  3. ChatGPT谷歌插件:wong2/chatgpt-google-extension

  4. 基于 ChatGPT 的微信机器人:AutumnWhj/ChatGPT-wechat-bot

  5. ChatGPT 中文调教指南:PlexPt/awesome-chatgpt-prompts-zh

  6. 基于ChatGPT进行二次开发的一些应用Repo列表:acheong08's list / Awesome ChatGPT (github.com)

  7. ChatGPT逆向工程:acheong08/ChatGPT: Reverse engineered ChatGPT API (github.com)

  8. 使用 Prompts 和 Chains 让 ChatGPT 成为神奇的生产力工具

ChatGPT产业分析

  1. 【ChatGPT全景图】
    1. ChatGTP全景图 | 背景+技术篇 (qq.com)
    2. ChatGPT全景图 | 产品+商业篇 (qq.com)
    3. ChatGPT全景图之三 | 全球竞争格局篇(上) (qq.com)
  2. 微软宣布全线整合 ChatGPT,将带来哪些影响? - 知乎 (zhihu.com)
  3. ChatGPT技术与商业落地观点评析:主流证券研究机构下的十五篇ChatGPT行业研究报告指引 (qq.com)

如何体验ChatGPT

  1. 【购买虚拟手机号使用自己邮箱注册】
    1. OpenAI ChatGPT注册保姆级攻略,绝对有效 - 知乎 (zhihu.com)
    2. 如何注册ChatGPT - 知乎 (zhihu.com)
    3. 这是个墙外的网址,知乎被封了可以看这个:如何注册一个chatGPT账号? - 衛斯理 - Medium
    4. Youtube视频讲解:亲测:QQ/163**邮箱注册ChatGPT教程,ChatGPT**用户如何验证手机号码,OpenAI保姆级注册操作教程 - YouTube
  2. 【淘宝买个号】
    1. 目前好像不行了
  3. ChatGPT登录不了的,可以开全局梯子后,重新打开浏览器,进入无痕模式试试。