第1章　基础知识——大语言模型背后

本章共包括三部分内容。本章首先简要回顾自然语言发展历史，从语言、图灵测试一直到2022年年底的新突破——ChatGPT；接下来介绍语言模型基础，包括Token、Embedding等基本概念和语言模型的基本原理，它们是自然语言处理（natural language processing，NLP）最基础的知识；最后介绍与ChatGPT相关的基础知识，包括Transformer、GPT和RLHF。Transformer是ChatGPT的基石，准确来说，Transformer的一部分是ChatGPT的基石；GPT（generative pre-trained transformer，生成式预训练Transformer）是ChatGPT的本体，从GPT-1，一直到现在的GPT-4，按照OpenAI自己的说法，模型还是那个模型，只是它更大了，同时效果更好了；RLHF（reinforcement learning from human feedback，从人类反馈中强化学习）是ChatGPT的神兵利器，有此利刃，ChatGPT所向披靡。