AI 学习资料 · 生成式 AI 入门（精选 7 课）
生成式人工智能和大语言模型入门
生成式人工智能是能够生成文本、图像及其他类型内容的人工智能。它之所以是一项了不起的技术，是因为它让 AI 走向大众：任何人只需一个文本提示词，也就是一句用自然语言写的话，就能使用它。你不必学习 Java 或 SQL 这类语言也能做成有价值的事，只要用自己的语言说出想要什么，AI 模型就会给出建议。它的应用和影响极为广泛：撰写或理解报告、编写应用程序等等，都只需几秒钟。
在本课程中，我们将探讨我们的初创企业如何利用生成式 AI 在教育领域开辟新场景，以及如何应对随之而来、无法回避的挑战：应用带来的社会影响，以及技术本身的局限。
介绍
本课内容包括：
- 业务场景介绍：我们的初创企业理念和使命。
- 生成式人工智能，以及当前的技术格局是怎样形成的。
- 大语言模型的内部工作原理。
- 大语言模型的主要能力及实际应用案例。
学习目标
完成本课后，你将理解：
- 什么是生成式人工智能，以及大语言模型如何工作。
- 如何把大语言模型用于不同的场景，重点是教育场景。
场景：我们的教育初创企业
生成式人工智能代表着人工智能技术的巅峰，突破了曾被认为不可能实现的界限。生成式 AI 模型具备多种能力和应用，但在本课程中，我们将通过一家虚构的初创企业，探讨它如何彻底改变教育。我们把这家初创企业称为我们的初创企业。我们的初创企业专注于教育领域，肩负着以下宏伟使命：
在全球范围内提升学习的可及性，确保教育机会公平，并根据每位学习者的需求提供个性化的学习体验。
我们的团队清楚，不借助当今最强大的工具之一——大语言模型（LLM），就无法实现这一目标。
生成式人工智能有望彻底改变今天的学习和教学方式：学生可以全天候求助虚拟教师，获得大量信息和示例；教师也能借助创新工具评估学生并给出反馈。
首先，让我们定义一些在本课程中会反复用到的基础概念和术语。
生成式 AI 是怎么来的？
尽管最近生成式 AI 模型的发布引发了极大的热潮，但这项技术已经发展了几十年，最早的研究可追溯至 20 世纪 60 年代。如今，AI 已经具备一些人类的认知能力，比如对话，OpenAI ChatGPT 和 Microsoft Copilot 就是例子，后者的对话式网页搜索也用到了 GPT 模型。
往回看，最早的 AI 原型是文字聊天机器人，依靠的是从一组专家那里提取、再录入计算机的知识库。知识库中的答案由输入文本里出现的关键词触发。但人们很快发现，这种文字聊天机器人的做法难以扩展。
用统计方法做 AI：机器学习
20 世纪 90 年代出现了转折点：统计方法被应用于文本分析。由此诞生了一类新算法，即机器学习，它们能从数据中学习规律，而无需人为编写明确的规则。这种方法让机器能够模拟人类对语言的理解：统计模型在“文本-标签”配对上训练，之后就能给没见过的输入文本分类，打上一个预先定义、代表这条消息意图的标签。
神经网络与现代虚拟助手
近年来，硬件技术不断进步，能够处理更多的数据和更复杂的计算，推动了 AI 研究，催生了被称为神经网络或深度学习算法的高级机器学习算法。
神经网络（尤其是循环神经网络，RNN）显著提升了自然语言处理的能力，能更好地表示文本的含义，把单词在句子中的上下文考虑进去。
正是这项技术支撑了 21 世纪头十年诞生的虚拟助手。它们很擅长理解人类语言、识别需求并执行相应操作，比如用预设的话术回答，或调用第三方服务。
今天的生成式 AI
就这样，我们走到了今天的生成式 AI，它可以看作深度学习的一个子集。
经过 AI 领域数十年的研究，一种名为 Transformer 的新型模型架构突破了 RNN 的限制，能够接收长得多的文本序列作为输入。Transformer 基于注意力机制，模型可以给收到的各部分输入分配不同的权重，在最相关信息集中的地方“多加注意”，而不论这些信息在文本序列中的先后位置。
最近的生成式 AI 模型大多正是基于这一架构，它们也被称为大语言模型（LLM），因为处理的是文本输入和文本输出。这些模型在来自书籍、文章、网站等多种来源的海量未标注数据上训练，有意思的是，它们能适应各种各样的任务，生成语法正确、带有几分创造性的文本。它们不仅极大地提高了机器“理解”输入文本的能力，还让机器能用人类语言生成原创的回答。
大语言模型如何工作？
下一课我们会探讨不同类型的生成式 AI 模型，现在先看看大语言模型的工作原理，重点以 OpenAI 的 GPT（Generative Pre-trained Transformer，生成式预训练 Transformer）模型为例。
- 分词器，把文本变成数字：大语言模型接收文本作为输入，并生成文本作为输出。但它们是统计模型，处理数字要比处理文本序列好得多。所以每条输入在交给核心模型之前，都要先经过分词器处理。token 是一小段文本，包含的字符数不固定，分词器的主要任务就是把输入拆分成一组 token。然后，每个 token 会被映射为一个 token 索引，也就是这段原始文本的整数编码。
编者注：此图中文由机器翻译生成，只把原图中的英文问句换成了中文，图中的字符数、token 数和 token 编号仍是英文原句的结果，与中文句子对不上。
-
预测输出 token：给定 n 个 token 作为输入（n 的上限因模型而异），模型能预测出一个 token 作为输出。这个 token 会被并入下一轮的输入，窗口随之不断扩大，这样用户就能得到一句（或多句）完整的回答，体验更好。这也解释了为什么你用 ChatGPT 时，有时会觉得它好像停在了句子中间。
-
选择过程，概率分布：模型根据每个 token 在当前文本序列之后出现的概率来选出输出 token。这是因为模型会依据训练所得，算出所有可能的“下一个 token”的概率分布。不过，最终选中的并不总是概率最高的那个 token。选择时会加入一定的随机性，使模型的行为是非确定性的：同样的输入，得到的输出不一定完全相同。加入随机性是为了模拟创造性思考的过程，随机程度可以通过名为“温度”（temperature）的模型参数来调节。
我们的初创企业如何利用大语言模型？
现在我们对大语言模型的内部工作方式有了更好的了解，接下来结合我们的业务场景，看看它们能做得相当好的一些常见任务的实际例子。前面说过，大语言模型的核心能力是从一段用自然语言写成的文本输入出发，从零开始生成文本。
那么，输入和输出是什么样的文本呢？大语言模型的输入称为 prompt（提示词），输出称为 completion（补全）。“补全”这个词指的是模型的工作机制：生成下一个 token 来补全当前的输入。后面我们会深入讲解什么是提示词，以及如何设计提示词才能充分发挥模型的能力。现在先简单说说，提示词可能包括：
-
一条指令，说明我们期望模型给出什么类型的输出。指令中有时会附带一些示例或额外数据。
-
一个问题，以与智能体（agent）对话的形式提出。
图略：对话示例，在 ChatGPT 中提问“路易十四是谁？他为什么是重要的历史人物？”（来源：原课程配图，见原课程第 1 课）
-
一段待补全的文本，其中隐含着请求写作帮助的意思。
图略：文本补全示例，在 ChatGPT 中输入半句话“路易十四是一个重要的历史人物，因为”，由模型续写（来源：原课程配图，见原课程第 1 课）
-
一段代码，并要求解释它、为它写文档；或者一条注释，要求生成完成某项具体任务的代码。
图略：编码示例，在 ChatGPT 中输入一行注释“一个计算两个数 a 和 b 之和的 Python 函数”，由模型生成代码（来源：原课程配图，见原课程第 1 课）
上面的示例都很简单，并不打算全面展示大语言模型的能力。它们只是用来说明生成式 AI 的潜力，尤其是在教育场景中，但不限于教育。
另外，生成式 AI 模型的输出并不完美，模型的创造性有时反而会帮倒忙，产生在用户看来歪曲事实的文字组合，甚至可能带有冒犯性。生成式 AI 并不“智能”，至少不符合更全面意义上的智能定义（包括批判性推理、创造性推理或情绪智力）；它不是确定性的，也不值得完全信赖：虚构的内容，比如错误的引用、内容和陈述，可能与正确信息混在一起，而且被说得令人信服、十分笃定。在接下来的课程中，我们会逐一讨论这些局限，并看看可以怎样减轻它们。
作业
你的作业是进一步了解生成式人工智能，并试着找出一个目前还没有用上生成式 AI、而你会把它加进去的领域。和用“老办法”相比，影响会有什么不同？你能做到以前做不到的事吗？还是速度更快了？写一篇约 300 词的短文，描述你理想中的 AI 初创企业，用“问题”“我会怎样使用 AI”“影响”等作为小标题，也可以附上商业计划。
如果你完成了这项作业，也许已经可以申请 Microsoft 的孵化器 Microsoft for Startups Founders Hub。原课程介绍说，该计划提供 Azure 和 OpenAI 的使用额度、导师指导等支持，可以去了解一下。
知识测试
关于大语言模型，哪种说法是正确的？
- 每次得到的回答都完全相同。
- 它做事完美无缺，比如很会做加法、能写出直接可用的代码等。
- 即使使用相同的提示词，回答也可能不同。它很擅长为你起草初稿，无论是文本还是代码，但你需要在此基础上改进结果。
答案：3。大语言模型是非确定性的，回答会有变化，不过你可以通过温度设置控制变化的幅度。你也不应指望它把事情做得完美，它的作用是替你完成繁重的工作，这通常意味着你会得到一个不错的初稿，再逐步改进。
干得漂亮！继续前行
学完本课后，可以看看原课程推荐的生成式 AI 学习合集，继续提升你对生成式 AI 的了解。
下一课（第 2 课）我们将学习如何探索和比较不同类型的 LLM。
免责声明：本课中文原由 AI 翻译服务 Co-op Translator 机器翻译，本库已对照英文原文校订，并有删节。中英文如有出入，以英文原版为准。