- 以最小必要阅读资料为出发点,寻找了解chatgpt技术原理方向上最高质量阅读资料;
- chatGPT的迭代史
- chatGPT的核心技术
- chatgpt跟传统的NLP技术相比,进步的地方是什么?
- chatgpt所带来的场景重构有哪些?产品的机会有哪些?
- chatGPT所带来的影响力?如何理解是所谓的iphone时刻?
- 以技术理解为主线;
- 第一手资料最重要;包括核心的论文以及openai老板们的分享;
- 其次是二手解读;
- 宏观论述+科普第三;
- 资料会随着时间不断更新
- 2017 Attention Is All You Need - 这篇论文介绍了原始的 Transformer 的结构,是 Transformer 系列的基础。
- GPT1~GPT4 Openai
- 2018 Improving language understanding by generative pre-training - 这篇论文介绍了另一个流行的预训练模型,也就是被后人所熟知的 GPT-1。
- 2019 Language models are unsupervised multitask learners - 这篇论文引入了 GPT-2。
- 2020 Language Models are Few-Shot Learners - 这篇论文引入了 GPT-3。
- 2022 Training lanquage models to follow instructions with human feedback - 这篇论文提出了一种 RLHF 的方式
- 2023 GPT-4 technical report
- 2022 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
- openai CEO
- openai CTO
- Andrej Karpathy
- What is ChatGPT doing...and why does it work?
- GPT-4论文精读
- GPT,GPT-2,GPT-3 论文精读
- OpenAI Codex 论文精读【论文精读】
- Sparks of AGI: early experiments with GPT-4
- 理解大语言模型——10篇论文的简明清单
- ChatGPT的各项超能力从哪儿来?万字拆解追溯技术路线图来了!
- 通向AGI之路:大型语言模型(LLM)技术精要
- Transformer
- LLM大语言模型
- Prompt
- RLHF