大模型相关的一些术语

admin

1. 大模型 ：一般指1亿以上参数的模型，但是这个标准一直在升级，目前万亿参数以上的模型也有了。大语言模型（Large Language Model，LLM）是针对语言的大模型。

2. 175B、60B、540B等 ：这些一般指参数的个数，B是Billion/十亿的意思，175B是1750亿参数，这是ChatGPT大约的参数规模。

3. 强化学习 ：（Reinforcement Learning）一种机器学习的方法，通过从外部获得激励来校正学习方向从而获得一种自适应的学习能力。

4. 基于人工反馈的强化学习（RLHF） ：（Reinforcement Learning from Human Feedback）构建人类反馈数据集，训练一个激励模型，模仿人类偏好对结果打分，这是GPT-3后时代大语言模型越来越像人类对话核心技术。

5. 涌现 ：（Emergence）或称创发、突现、呈展、演生，是一种现象。许多小实体相互作用后产生了大实体，而这个大实体展现了组成它的小实体所不具有的特性。研究发现，模型规模达到一定阈值以上后，会在多步算术、大学考试、单词释义等场景的准确性显著提升，称为涌现。

6. AI幻觉 ：一本正经的胡说八道。“幻觉”，指的是人工智能模型生成的内容，不是基于任何现实世界的数据，而是大模型自己想象的产物。例如，面对用户的提问，ChatGPT以及谷歌的Bard等工具会杜撰出一些看上去像是权威正确的虚假信息。这些虚假信息以文本、图像、音频、视频等形式存在，创造出不存在的书籍和研究报告，假的学术论文，假的法律援引等

7. 提示词 ：（Prompt）给模型的指令。一次Prompt输入，返回对应结果，称为单轮对话。大模型广泛应用后，会出现大量Prompt Engineer

8. 思维链 ：（Chain-of-Thought，CoT）。通过让大语言模型（LLM）将一个问题拆解为多个步骤，一步一步分析，逐步得出正确答案，也称多轮。

9. 大模型训练大致4个阶段 ：pre-training、SFT、RM、RL

MOXING

学习学习学习