公开课 | 2024最新清华大模型公开课 第4课 大模型学习方法

发布于:2024-10-17 ⋅ 阅读:(37) ⋅ 点赞:(0)

本文由readlecture.cn转录总结。ReadLecture专注于音、视频转录与总结,2小时视频,5分钟阅读,加速内容学习与传播。

大纲

  • 引言

    • 介绍大模型的训练方法

    • 强调大模型在多领域的应用

  • 大模型的训练阶段

    • 预训练过程

      • Tokenization的重要性

      • 预训练模型的历史发展

        • 从词向量到ELMO模型

        • Transformer模型的引入

    • 后训练过程

      • 对齐(alignment)和适配(adaptation)

      • 后训练的重要性

  • 具体模型介绍

    • GPT系列

      • GPT-1的架构和训练方法

      • GPT-2的扩展和多任务能力

      • GPT-3的巨大参数和泛化能力

    • BERT模型

      • BERT的双向注意力机制

      • BERT的应用和效果

    • T5模型

      • T5的Text-to-Text格式

      • T5的编码器-解码器架构

  • 语言建模的本质

    • 语言模型的基本原理

    • 语言模型的多任务学习能力

  • 对齐和后训练

    • 对齐的重要性

    • 对齐的方法和挑战

  • 参数高效的微调

    • Adapter方法

    • Prefix Tuning

    • LoRA方法

  • 指令微调和偏好学习

    • 指令微调的概念

    • 偏好学习的实现方法

  • 总结和未来展望

    • 大模型的当前状态

    • 未来的研究方向和挑战

内容总结

一句话总结

本文深入探讨了大模型的训练方法,包括预训练、后训练、具体模型的介绍、语言建模的本质、对齐和后训练、参数高效的微调、指令微调和偏好学习,以及未来的研究方向。

观点与结论

  • 大模型通过预训练和后训练两个阶段,能够在多领域发挥作用。

  • 语言建模的核心在于使用前面的标记(token)来预测下一个标记,这种能力可以扩展到多任务学习。

  • 对齐和后训练是确保模型输出符合人类期望的关键步骤。

  • 参数高效的微调方法,如Adapter、Prefix Tuning和LoRA,可以大幅降低微调所需的资源。

  • 指令微调和偏好学习是当前大语言模型的核心能力,能够实现零样本泛化。

自问自答

  1. 大模型的训练主要分为哪两个阶段?

    • 预训练过程和后训练过程。

  2. 为什么大模型能在多领域发挥作用?

    • 因为任何信息都可以被转化为token,大模型处理的是token,而非单纯的语言。

  3. 什么是语言建模的本质?

    • 使用前面的标记(token)来预测下一个标记。

  4. 对齐和后训练的重要性是什么?

    • 确保模型输出符合人类期望,增强模型的稳定性和鲁棒性。

  5. 参数高效的微调有哪些方法?

    • Adapter、Prefix Tuning和LoRA。

  6. 指令微调和偏好学习的区别是什么?

    • 指令微调是通过增加上下文来描述任务,而偏好学习是通过人类反馈来优化模型输出。

关键词标签

  • 大模型

  • 预训练

  • 后训练

  • 语言建模

  • 对齐

  • 参数高效微调

  • 指令微调

  • 偏好学习

适合阅读人群

  • 人工智能研究人员

  • 机器学习工程师

  • 数据科学家

  • 计算机科学学生

术语解释

  • Tokenization: 将文本或其他信息转化为离散单元(token)的过程。

  • 预训练: 在大规模无监督语料上训练模型的过程。

  • 后训练: 在有监督的数据上进一步训练模型的过程。

  • 对齐: 调整模型输出以符合人类期望的过程。

  • 参数高效微调: 使用较少资源更新模型参数的方法。

  • 指令微调: 通过增加上下文来描述任务,使模型能够理解和执行。

  • 偏好学习: 通过人类反馈来优化模型输出的过程。

视频来源

Lecture 4 大模型学习方法_哔哩哔哩_bilibili

讲座回顾

大家好,欢迎大家参加本次大模型暑期课程。今天我们将探讨大模型的训练方法。众所周知,当前的大模型数量远不止图示所示。

那么我们核心要讲清楚一个问题,即这些模型是如何训练的。实际上,它们主要经历了两个阶段:预训练过程和后训练过程。

我们需要先搞清楚一个问题:为什么大模型能在每个领域都发挥作用。实际上,不仅限于文本处理,尽管它被称为大语言模型,但它现在已广泛应用于多模态领域,包括音频、视频,以及医疗、金融和教育等行业。

  • 大语言模型处理token而非单纯语言。

  • 文本、图像、DNA、工具和电磁波等均可转化为token。

  • 转化后的token可被学习和泛化,是大语言模型发挥作用的关键。

  • 训练大语言模型时,首先进行tokenization,将信息转化为离散单元。

  • 常用的tokenization方法包括BPE,采用分支结构处理。

他都能发挥作用。实际上,这基于一个非常基本的假设:任何信息都可以被转化为token。大语言模型处理的是token,而非单纯的语言。因此,文本、图像、DNA、工具和电磁波等都可以转化为token,这些token随后可以被学习和泛化。这就是大语言模型发挥重要作用的关键。在训练大语言模型时,第一步是进行tokenization,即将所需信息(如文本、图片等)转化为离散单元,然后送入模型中。有许多方法可以进行tokenization,例如常用的BPE方法,它采用类似分支的结构来处理。这些token将进一步被泛化。

  • 早期NLP研究中的词向量是context-free的,即同一个词在不同语境下的向量表示相同。

  • 词向量的context-free特性导致同一个词在不同语境下的不同含义无法区分。

  • ELMO模型是第一个实现contextualized pre-training的模型,其词向量随上下文变化。

  • ELMO模型的表示包括固定的词向量、每一层的表示加总形成的ELMO词向量。

  • ELMO模型的特点是contextualized和deep,效果远超之前的固定词向量方法。

在大模型之前的NLP研究中,这些embeddings都经过了预训练。我们那时也有预训练,只不过我们训练的是所谓的词向量。这些词向量有一个非常大的特点,就是它们是context-free的,即同一个单词在不同语境下表示的向量是一样的,即使它有不同的含义。例如,“bank”既可以指银行,也可以指河岸,但它们的向量表示是一样的。这显然不合理,因为很多词在不同的句子中表达着不同的意思,可能不是词典中分割的意思,但也有可能是一些非常微妙的细小差别。因此,后来我们希望这些词向量或在大模型中的表示能随上下文变化,于是有了ELMO模型。ELMO是第一个发现contextualized pre-training的模型,即所有的词向量和表示都是随上下文变化的,每句话送进去后,其内部表示都不同。这里我们要训练的模型不仅仅是词向量,而是整个模型,其表示有三种:固定的词向量本身、每一层的表示加起来,形成一个ELMO词向量,但实际计算稍微复杂一些。ELMO模型是一个里程碑式的工作,它彻底打开了预训练模型的基础,contextualized pre-training从此开始。它的两个最大特点,一是contextualized,即所有词向量都由上下文决定;二是deep,即它非常深,由多个神经网络层结合而成,而不是之前可能只有一个简单的神经网络来训练词向量。其效果当时也非常好,远远超越了固定的词向量方法,如word2vec。2017年后,我们有了比LSTM更好的模型。

  • Transformer模型采用自注意力架构,适合训练上下文相关的词向量。

  • 每个Token在Transformer中都与其上下文相关。

  • 基于Transformer的预训练语言模型分为三种类型:仅编码器、编码器-解码器和仅解码器。

或者比RNN更强大的神经网络模型,大家应该已经了解,即Transformer。在前面的课程中已经介绍过,Transformer采用了一种自注意力(Self Attention)架构。实际上,我们可以将其与上下文相关的表示(Contextualized representation)进行比较,它非常适合训练上下文相关的词向量。这是因为每个Token都会注意到其他Token,因此每个Token都与其上下文相关。这自然导致了基于Transformer的预训练语言模型的出现。基于Transformer的预训练语言模型有很多,主要包括三种类型:仅编码器(Encoder only)、编码器-解码器(Encoder Decoder)和仅解码器(Decoder only)。它们实际上采用了Transformer的不同部分。以及他采用的不同训练目标。

  • 三个代表性模型:BERT、GPT、T5

  • GPT是最受欢迎的模型

  • GPT是第一个基于Transformer的预训练语言模型

  • Transformer最初设计用于翻译任务

  • GPT采用Transformer结构和传统的语言模型方法

  • GPT的训练方式是从左到右,利用前面的Token预测下一个Token

  • 微调过程中,GPT利用最后一个单词的表示来预测任务标签

那么它的三个代表性模型是BERT、GPT和T5。接下来我们将详细介绍这三个模型。首先来看GPT,目前它是最受欢迎的模型。GPT是第一个基于Transformer的预训练语言模型。最初,Transformer被设计用于翻译任务。可能连Transformer的作者也未曾预料到它会被用于预训练,或被广泛应用于多种任务。GPT正是基于这一发现,采用了Transformer结构,并结合传统的语言模型方法,即利用前面的Token预测下一个Token,从而实现从左到右的训练方式。如图所示,例如一个单词仅能看到其前两个单词,并据此预测下一个单词。在微调过程中,GPT会利用最后一个单词的表示来预测任务标签。这就是GPT的注意力机制架构,它通过利用前面单词的概率来预测下一个单词。

  • 在实际使用中,采用attention mask防止模型看到后续单词。

  • GPT之后引入了更强大的模型Bert。

  • Bert在NLP研究领域当时尚未广泛应用,但技术革新已显现。

我们在实际使用中会采用attention mask,以防止模型看到后续的单词。在GPT之后,我们引入了一个更为强大的模型,即Bert。在当时,Bert在NLP研究领域中尚未被广泛应用,但其带来的技术革新已初露端倪。

  • BERT开启了预训练语言模型的新领域。

  • 方法:随机遮盖输入序列中的部分单词(token),预测这些被遮盖的token。

  • 遮盖比例:15%,此比例经过实验确定。

  • 目标函数:遮蔽语言模型,与传统语言模型不同。

  • 注意力机制:传统模型使用单向注意力,遮蔽语言模型使用双向注意力。

我们在自然语言理解任务上的表现远远超越了当时最先进的方法,甚至在许多任务上超越了人类的表现。在BERT之后,预训练语言模型这一领域才真正被打开。其方法相当简单:对于一个输入序列,我们随机遮盖其中的一些单词或称为token,然后预测这些被遮盖的token。遮盖的比例为15%,这一比例是经过实验得出的。我们可以看到,这种目标函数称为遮蔽语言模型,与传统语言模型有所不同。区别在于,传统模型采用单向注意力机制,而遮蔽语言模型则采用双向注意力机制。

  • BERT模型采用双向建模,能够同时利用前后文信息。

  • 当前主流模型多采用单向建模,原因和优势待探讨。

  • BERT还使用预测下一个句子的目标函数,但实验显示其效果不佳。

在这个目标函数中,被遮盖的模型既可以看到前面的上下文,也可以看到后面的上下文。理论上,BERT似乎能够比GPT学到更多的信息。然而,为什么我们现在的模型都是单向建模呢?单向建模相比双向建模的优势在哪里?或者说它为什么能够扩展?大家可以先提前思考一下,稍后我们将回答这个问题。BERT除了使用遮盖token的策略外,还采用了另一个目标函数,即理解不同句子之间的关系。因此,它还有一个目标是预测下一个句子。在训练过程中,由于我们有大量的预料,它会训练模型判断下一个句子是否是真正的下一个句子,或者是一个随机的其他句子。但后来有许多实验证实,这个目标函数其实并不那么有效。实际上,它可能还不够本质,最本质的做法是我们使用这个目标函数。

  • BERT的输入包括文本token和特殊token,特殊token如CLS和SEP分别表示句子的开始和分割。

  • 可以自定义特殊token,例如用O表示OpenBMB。

  • 每个token有三种embedding:token embedding、segment embedding和position embedding,这些embedding相加得到最终embedding。

  • CLS的最终embedding常用于文本分类任务,如情感分类。

  • 在关系抽取任务中,可以在实体前添加特殊token,并使用其embedding进行关系抽取。

  • BERT主要用于自然语言理解,学习到的表示可用于多种自然语言处理任务。

我们只需对token进行预测。详细来看BERT的运作机制,首先输入是一系列token。除了文本token外,还有一些特殊token,这些特殊token具有特定含义。实际上,我们可以添加任何特殊token来表示任何含义。例如,添加一个O代表OpenBMB,这是可行的。在BERT中,token的含义包括:首先有一个CLS token,代表classification,表示每个句子的开始;还有一个SEP token,表示两个句子之间的分割,告诉模型当前句子结束,准备进入下一个句子。

关于embedding,每个token有自己的embedding,类似于词向量。此外,还有segment embedding,表示token属于前一个句子还是后一个句子(A、B或C)。还有position embedding,表示token在序列中的位置,因为self-attention结构本身不包含位置信息。我们将这些embedding相加,得到token的最终embedding,用于各种任务。

一个常见的情况是使用CLS的最终embedding进行文本分类,如情感分类。在关系抽取任务中,我们可能在两个实体前添加一个特殊token,然后使用这个特殊token的embedding进行关系抽取。BERT主要用于自然语言理解,学习这些表示后,我们可以将其用于传统的神经网络和机器学习自然语言处理任务。

  • BERT模型在多个任务上超越了人类表现。

  • BERT提出了Bert-Base和Bert-Large两个模型,大模型表现更好。

  • 训练Bert-Large需要大量计算资源,成为资源充足的标志。

  • T5模型继承了BERT的规模扩展,将所有任务转换为Text-to-Text格式。

  • T5采用encoder-decoder架构,与BERT和GPT的表征利用方式不同。

  • GPT虽然只采用Transformer的decoder,但被认为具备理解能力。

BERT的效果确实非常出色,它是在GPT之后出现的,但在当时为我们提供了许多计划。自然语言处理的研究者带来的震撼远胜于GPT。在很多任务上,BERT都超越了人类,并且提出了一个非常重要的观点:训练了两个模型,Bert-Base和Bert-Large,越大的模型表现越好。如果我没有记错,BERT应该是第一个提出这一观点的,并非后续进行规模扩展的GPT。当时,作为自然语言处理的研究者,我们都想知道谁能选择Bert-Large,即谁拥有足够的计算资源来训练一个Bert-Large,这被认为是计算资源充足的标志。而现在,我们能够操作的模型已经远远超过了这个量级。在BERT之后,有一个模型继续这种规模扩展,即我们所说的T5。它实际上将所有的自然语言处理任务,无论是分类还是生成,都转换成了Text-to-Text格式,即输入是一堆文本,输出也是一堆文本,即使是一个分类任务,也是一个Token。之前的BERT或GPT,在使用时,我们实际上是利用它们的表征来进行分类任务,输出的是经过Softmax后的分类概率,例如在Class A和Class B的概率。而T5则认为,干脆不要这些了,所有的东西都变成文本到文本的形式,采用了encoder-decoder架构。我们稍微强调一下,GPT采用的是Transformer的decoder,即它只负责生成,但现在我们认为它也具备理解能力。

BERT主要强调理解,因此采用Transformer的encoder架构。T5首先使用encoder进行文本理解,然后通过decoder进行单向生成。在此过程中,它会mask掉一些短语。

  • NLP任务统一性:所有自然语言处理任务可以统一到一个语言模型中。

  • 预训练任务分类:预训练阶段分为BERT、自回归模型(如GPT)和T5三种方法。

  • 语言建模本质:语言建模使用前面的标记预测下一个标记,本质上是计算条件概率。

  • 概率计算方法:通过乘积计算序列概率,使用对数函数避免数值下溢,计算最大似然概率。

  • 语言建模复杂性:语言建模不仅涉及模仿和记忆,还包括世界知识、推理和编码等。

T5的编码器接收输入,解码器则预测被遮蔽的输出。这给我们一个重要的启示:所有自然语言处理(NLP)任务都可以统一到一个语言模型中。在预训练阶段,我们可以将其分为三种任务。首先是BERT,它在预测S3时可以看到所有标记,无论是前还是后。其次是自回归模型,如GPT所采用的传统语言模型,在预测Y1时只能看到前面的标记。最后是T5所采用的方法,先通过编码器理解输入,再通过解码器生成所需内容。目前,几乎所有模型都采用单向的自回归GPT语言模型。我们可能会思考,这种模型是否比其他模型更本质,或更易于扩展和规模化。接下来,我们将探讨语言建模的本质,实际上非常简单,可以用两句话概括:它使用前面的标记(token)来预测下一个标记。具体来说,就是用前面的n-1个标记来预测第n个标记。当然,中间可能会有一些技巧,例如我们可能不想使用n-1个那么多,而只想使用5个或10个等。但本质上,它只是在计算条件概率。如果要计算整个序列的概率,就是将P(w1)、P(w2|w1)等全部相乘,得到整个序列的概率。由于这个概率可能非常小,我们可能会在前面加上对数函数,以避免数值下溢,然后再除以n分之一,得到所谓的最大似然概率。例如,“never to read, to learn, to code, to read”在自然语言中都是可能出现的。因此,在进行语言建模时,我们关注的不是正确的标记是什么,而是概率。当我们学习到这些概率时,就可能理解世界运行的方式。当我们预测下一个标记时,不仅仅是在模仿或记忆,实际上包含了多种内容,如世界知识、推理或编码等。因此,语言建模是一个非常复杂且多维的过程。

  • 描述了一种可能的多任务学习模型,该模型在预测下一个token的过程中学习多种技能。

  • 学习的技能包括语法、词法、世界知识、文本分析、情感分析、翻译、数学、代码等。

  • 提出扩展token的类型,包括音频、图像、气压等,以探索更广泛的学习领域。

我们认为它可能是一种极致的多任务学习。在预测下一个token的过程中,它可以学习到语法、词法、世界知识、文本分析、情感分析、更难的文本分析、翻译、数学、代码等。当我们扩展token到不仅仅是语言时,如果它是音频、图像,甚至是空气中的每个气压,大家可以思考一下。

  • 语言建模的核心在于其智能程度。

  • 智能不足可能导致对模型能力和智慧的质疑。

  • 语言建模具有巨大的潜力和机会。

关于语言建模的本质,我们可以参考前OpenAI首席科学家伊利亚·苏茨克弗(Ilya Sutskever)的阐述。语言建模的核心在于,如果建模不够智能,我们可能会质疑这些模型的能力和智慧。尽管这些模型可能并不存在,但语言建模提供了极大的潜力和机会。

  • 讨论了如何行动的问题。

  • 提出了获取证据的来源问题,建议从普通人的数据中获取。

  • 探讨了如何表达预测下一个token的意义。

这些人应该如何行动?是的,但是我们应该从哪里得到这种证据?从普通人的数据,因为如果我们考虑一下,这意味着什么?我们应该如何能够表达预测下一个token?这其实是一个更深入的问题。评估预测下一个token的意义是什么?我们应该如何能够表达预测下一个token的意义?

  • 作者认为预测下一个token不仅仅是统计行为。

  • 当模型规模足够大时,预测过程可能涉及对世界本质的理解。

  • 预测下一个token的过程被视为一种信息压缩。

他认为预测下一个token不仅仅是进行统计,而是当模型规模足够大时,它实际上在理解世界的本质。虽然这种说法可能有些夸张,但我们发现预测下一个token的过程本身可能是一种压缩。这种压缩,即预测下一个token的过程,实际上是在对信息进行压缩。

  • 语言建模的优势在于其依赖于语料库,不需要人工标注。

  • 高质量语料虽然理想,但包含噪音或杂质的语料也可能对语言模型有益。

在他的神经网络参数中,我们不再深入探讨。语言建模的一个显著优势是它仅依赖于语料库。尽管我们可能需要高质量的语料,但实际上,即使是包含噪音或杂质的语料,也可能有助于语言模型的理解。语言建模不需要人工标注,例如,A属于互联网领域。

  • 情感关注:A所表示的情感不需要特别关注。

  • 模型处理:模型不要求统一格式或结构化解析,只需准备和清洗语料库。

  • GPT模型构建:通过语料库使用神经网络预测下一个token,构建GPT模型。

  • 困惑度评估:使用困惑度衡量语言建模效果,计算方法包括计算文本概率、取自然对数、除以n、加负号、取指数。

  • 模型理解评估:低困惑度表示模型对数据集理解较好,每个token概率较高。

A所表示的情感实际上并不需要特别关注。此外,该模型也不要求我们将所有语言和文本统一格式,或者进行结构化解析等复杂处理。我们只需准备一个语料库,并进行必要的清洗和配比,这些内容将在后续部分详细讲解。简而言之,通过这些语料库,我们可以使用神经网络来预测下一个token,从而得到一个GPT模型。衡量语言建模效果的一个有效方法是使用困惑度。困惑度本质上是对预测下一个token的逆过程的度量。其计算方法较为复杂,具体来说,我们需要计算整个文本的概率表示,这是计算的分母部分。在计算出整个文本的概率表示后,取其自然对数,再除以n,并在前面加上负号,这样就转换为交叉熵。为了防止数值过大导致难以阅读,我们再对其取指数,从而得到PPL,即困惑度。困惑度可以用来评估任何模型对任何数据的理解程度。如果一个模型对某数据集的困惑度很低,我们就可以认为该模型对该数据集的理解较好,因为每个token的概率都较高。

  • 语言模型与困惑度:单个token的概率可能不准确,但通过困惑度可以评估模型在特定领域(如生物医疗)的表现。

  • GPT-1的训练方法:第一代GPT模型通过语言建模进行训练,拥有一亿多个参数,阅读了7000本书,训练量在当时是有限的。

  • 训练过程:GPT-1首先进行无监督预训练,然后进行下游任务的微调,如文本分类任务中使用最后一个隐藏状态和线性层进行微调。

  • OpenAI的发展阶段:在GPT-1时期,OpenAI可能还停留在传统的ROP任务中,尚未开发出更先进的模型。

实际上,单看一个token,其概率可能并不准确,因为我们实际上没有正确答案。但是,当我们把这个指标放到困惑度中时,例如我们现在要训练一个生物医疗的模型。现在我们有一段生物医疗的文本,包括DNA片段等。那么当模型在这个文本上困惑度低时,就说明它比较擅长生物医疗,我们可以简单地这样认为。因此,现在我们讨论了语言建模,再回过头来看GPT-1,即第一代的GPT,它是通过这种语言建模的方式进行训练的。它拥有一亿多个参数,并阅读了大约7000本书。实际上,这个训练量在我们现在看来是非常小的,7000本书的训练量可能连现在的万分之一都不到。但当时它就是这样做的,首先是通过无监督的预训练,在这7000本书上进行一个token一个token的预测。然后在下游任务的过程中,它还是进行了微调,即做了fine-tuning。例如,在文本分类任务中,它使用了最后一个隐藏状态,即最后一个表示,然后接入了一个线性层。这个线性层会输入一个分类的01向量,并通过softmax进行微调。因此,在这个时候,我们认为至少在这个阶段,OpenAI可能还没有开发出像现在这样的GPT,它的思维可能还停留在传统的ROP任务中。我们仍然希望训练一个模型来解决这些问题。

  • 初代GPT在震撼程度上不及BERT。

  • GPT-2通过扩展和增加训练数据量,展示了单向语言模型的可扩展性。

  • GPT-2能够处理多个任务,开启了从传统LOP到更大语言模型的转变。

  • OpenAI希望通过扩大模型来解决单任务训练的局限性,实现多任务的泛化。

  • GPT-2和GPT-3的论文被认为是高质量的。

因此,这也是初代GPT没有BERT更加震撼的原因。然而,到了GPT-2,情况略有改变。首先,他们进行了扩展,证明了这种单向语言模型也能够进行扩增。其次,其训练数据量也增加了。GPT-2开始能够解决不止一个任务,而是多个任务。他们认为这个语言模型本身具有可扩展性。在此,我强烈推荐大家阅读GPT-2的原论文。直到现在,我也认为这是我见过的写得最好的一篇论文之一。实际上,我们可以看到OpenAI在这个时候,尽管GPT-2的地位可能比GPT-1还要低,但我认为它被低估了。因为它开启了OpenAI从传统的LOP到更大的语言模型的转变,在GPT-2时期就已实现。只是他们当时还没有将参数扩增到1750亿。在原论文中,他们认识到对于一个传统的机器学习系统,针对单个任务进行训练和微调,导致其不能在多任务上进行泛化。这实际上意味着一些小的改动就可能引起整个系统的崩溃。因此,他们希望通过一种更根本的方法来解决这个问题。他们的方法就是扩大GPT-1,将GPT-1的下一个Token预测进行扩增。因此,他们认为在开始进行下一个Token预测时,我们就可以实现多任务的共同完成。这里就不详细念了,大家可以仔细阅读这篇论文。GPT-3的论文也写得非常好。接下来的故事我们就都知道了。

  • GPT-3是首个扩展到1750亿参数的语言模型,处理数据量远超以往。

  • OpenAI使用GPT-3在Reddit或Quora上进行回帖实验,长时间内未被识别为模型。

  • 在NLP领域,之前主要关注情感分类、翻译等任务,较少考虑跨任务泛化。

现代大语言模型的一个重要转折点是GPT-3,它首次将语言模型扩展到了1750亿参数,并且处理的数据量远超以往的模型。我记得当时OpenAI进行了一个实验,使用GPT-3在Reddit或Quora上回帖。实验进行了很长时间,但没有人意识到那是一个模型,这给人带来了极大的震撼。因为在NLP领域,我们之前认为让模型按照指令执行任务是不太可能的。我们之前主要关注于情感分类、翻译或一些简单的生成任务,很少有人考虑跨任务泛化的问题,即任务本身的概念。

  • In-context Learning特性:大型模型如GPT-3具有情境学习能力,能在不微调的情况下通过提供示例来学习新任务。

  • 模型应用:通过提供英文到法语的翻译示例,模型能学习并执行翻译任务。

  • 泛化能力:GPT-3的意义在于其泛化能力,能处理多种任务,而不仅仅是单一任务的优化。

  • 学术界反应:尽管GPT-3在公众中引起震撼,但学术界对其应用和效果持保留态度,认为微调模型如Bert和Roberta在特定任务上表现更优。

它在这里似乎被模糊化了。然后它有一个非常强大的特性,叫做In-context learning。我们来看一下。我们看不到这些模型,但是当它变大了,我们就能看到了。我们来看一下评论问题。在传统的机器学习中,我们必须给模型提供数百个例子的评论,然后模型会学习这些评论。但是在这里,我们给模型一些例子,然后它能学习我们想要的东西。我们看到很多模型能学习这些模型的行为。比如说,我们来看一下这些数学学习的例子。关键是,一个小模型,并不明白这些。这些模型的确实比较丰富。但是,我们来看一下这些大型模型的行为。它们明白如何解决这些问题。我们看到这些模型的行为,对。其实这个视频讲的主要是所谓的涌现的能力。

实际上,它一个最重要的涌现能力,我们能看到的就是叫情境学习,或者叫上下文学习,或者英文就叫in-context learning。它的做法也非常简单。当我们训练了一个1750亿参数的模型之后,我们就不微调它了。然后呢,我们想让它完成一个翻译任务,怎么办呢?我们就告诉它,你就把英文翻译成法语就行了。如果它好像翻译得不太好的话,我们很简单。就在前面加一些例子。比如说,这里的第二行,第三行,第四行,都是英文翻译成法语的例子。然后呢,我们再给一个第四行,然后让它翻译成法语。然后呢,我们再给一个第四行,然后让它翻译成法语。然后呢,我们再给一个第四行,然后让它预测下一个token,然后再预测下两个token等等。

这就是GPT-3。这时候呢,我们已经几乎没有任务的概念了。我们有一个超级大的模型,然后呢,我们告诉它做啥,它就能做什么。虽然很多任务上可能做的还是没有一些微调过的模型好。我记得GPT-3出来的时候好像,其实这个对学术界的影响可能没有大家想的这么大。尽管大家都觉得非常震撼,但实际上学术论文中并没有太多使用GPT-3的。或者说,好多研究者都认为,我在一个语料上微调一下我的模型,微调一下我的Bert,我的Roberta,比你的GPT-3好。那你这个有什么意义呢?我做不了我的情感分类任务,关系抽取任务,你做的没我好,而且你还这么大。实际上GPT-3的意义并不在于它做一个任务做的有没有Bert好,或者说有没有现在的所谓的最好的模型好。它的意义就在于泛化性,它能够泛化到无数的,只要能用Token表示的任务上。然后呢,我们告诉它做什么,它就可以做什么。这个呢,我们的想象力上限才会更高。但是实际上,在我的记忆中。

当时的NLP研究者几乎很少有人认识到这一点。在GPT-3之后,OpenAI推出了我们现在都熟悉的ChatGPT。但实际上,ChatGPT的构建方法与之前的模型有所不同。

  • InstructGPT是基于GPT-3的改进模型,通过后训练使其更遵循人类指令。

  • ChatGPT是InstructGPT的进一步发展,能更好地与人类对话,输出更准确、信息量更大且无幻觉的回答。

  • 示例展示了GPT-3可能输出错误或重复语料中的内容,而InstructGPT则能输出更合适的回答。

他们之前的一个模型叫做InstructGPT,几乎是一模一样的。他们对GPT-3进行post-training,就是我们下一节要讲的内容,然后让它变得更加能够遵循人类的指令。ChatGPT就是它可以更好地与人类对话,从而输出更加有信息量、更加正确,然后更加没有幻觉的回答。比如说下面这就是一个例子。GPT-3它可能输出的东西是一个错的,或者说它在语料中见过的,然后它就输出成这样的。但是InstructGPT它就可以去输出。

  • GPT-4是继Instrcut和ChatGPT之后的最新AI技术。

  • GPT-4能够处理约25000个词汇,是ChatGPT的8倍。

  • GPT-4具备图像理解能力,能解释图像含义。

  • GPT-4能识别图像中的逻辑关系,如线条切断导致瓶子飞走。

  • AI技术存在不完美和错误,需要进一步验证。

正确的表述这种形式。在Instrcut和ChatGPT之后,我们又了解到有了GPT-4。它能够处理约25000个词汇,比ChatGPT多出约8倍。它能够理解图像,并能表达其含义。例如,它能告诉我们,如果画面的线条被切断,那瓶子就会飞走。这就是这些AI能够进行测试的地方。它们并不完美,会犯错误。我们还需要对它们进行验证。

我认为您知道这些工作是您的期望。但我认为这基本上是为了每个人都能做到的。GPT-4的训练在去年8月份已经结束。所有在过去的事情中所发生的事情。

  • 该技术自推出以来已发展为大型标准,提升了安全性、效率和实用性。

  • 技术内容包括考虑敌人利益、不受欢迎的内容及私人关注。

  • 认识到技术发展是一个持续过程,需要不断学习、更新和提升。

  • 技术在教育领域展现出巨大潜力,如GPT-4能提供个性化学习计划。

在过去的几个月中,自我们推出以来,它已经发展成为一个大型的标准,使其更加安全、高效和有用。我们已经纳入了许多内容,包括对敌人利益的考虑、不受欢迎的内容以及对私人关注的重视。当我们推出这一模式时,我们清楚地认识到这只是一个开始。我们知道我们需要不断学习、更新,并持续提升所有系统,以更好地适应社会需求。对我而言,这些技术的最复杂用户是那些真正基于人类需求而开始使用的人。这些系统在教育领域展现出了巨大的潜力。GPT-4能够教授大量的课程计划,设想为五年级学生提供无限的时间和耐心的个性化学习。它是一个极好的工具,能够为所有人带来学习的机会。

在他们的技术层面上,这种表达体现了人生中最有用和有帮助的梦想。其真正目的是为了帮助大家增加更多的价值。

每一天的生活都能实现。OpenAI的合作旨在将这种技术发展成能够帮助全球的工具。

  • AI技术与通信技术、计算机电流、中央互联网和计算机器紧密合作,有望提升生活质量。

  • 尽管存在限制,但通信技术的成熟将带来深远影响。

  • GPT-4被视为首个专业智能AI系统的里程碑。

  • 通信技术的应用受到广泛关注,不仅限于技术专家,也包括普通用户。

希望AI的力量能帮助我们更有效地提升生活质量。随着通信技术、计算机电流、中央互联网和计算机器的发展,所有这些领域都能与AI技术紧密合作。尽管目前还存在一些限制,但我们已经可以预见未来这些通信技术的成熟将带来的深远影响。我认为GPT-4将成为世界上首个专业智能AI系统的里程碑。我们非常关注这些通信技术的应用,不仅限于技术专家,也包括广大用户。

GPT-4自去年发布以来,尽管有许多模型声称超越了它,但我认为它仍然是当前最好的模型。

  • GPT-4被认为是当前最好的语言模型。

  • 具体参数、数据量和架构细节未公开,OpenAI转变为CloseAI。

  • 模型基于大型架构,可能在Transformer上优化,使用混合专家模型,并在大型语料库上训练。

  • 应用范围扩展到编程、科学发现和教学等非传统语言任务。

  • 模型处理能力不仅限于语言,还包括任何可序列化的数据。

  • 训练和应用中,模型展现出高级智能和泛化能力。

总的来说,GPT-4应该是最好的。实际上,关于它使用了多少参数、多少数据以及使用了什么架构,我们都是不知道的,因为从这时起,OpenAI已经变成了CloseAI。但是可以预见的是,它仍然是一个语言模型,使用了一个非常大的架构,可能在Transformer上做了很多优化,也可能使用了混合专家模型,并在一个非常大的语料库上进行训练,展现出了更高级的智能。它已经不仅可以用在传统的语言任务上,实际上编程、科学发现甚至教学,我们都可以使用GPT-4来进行。所以到了这个节点上,我们可以去想象更多的应用。在我们传统的NLP中,我们可能只是让人来定义一个任务,然后我们去思考,去构建一个NLP模型,去完成它。但是到了GPT-4上,我们的局限已经不仅仅是语言了,而是序列。任何可以转化成序列的东西,都可以尝试用语言模型去处理。然后我们去学习它,去泛化它,让它达到更好的效果。在训练的时候,我们可以使用这个语言模型。

  • Scaling Law:随着模型大小、数据集大小和计算量的增加,语言模型性能提升。

  • 实验验证:计算量增加时,损失降低,性能提升。

  • 涌现现象:计算量增加到一定程度,小模型无法完成的任务会显著提升。

  • 开源社区贡献:尽管领先公司未开源,开源社区已开发出接近甚至超过ChatGPT 3.5的模型。

  • 训练策略:采用Transformer架构和语言建模方法,进行细微调整和新的训练策略。

在预训练语言模型的过程中,大家应该听说过一个非常重要的现象,即Scaling Law。Scaling Law指出,随着模型大小、数据集大小和训练所用计算量的增加,语言模型的性能会平稳提升。这一规律是当前大型语言模型训练的基础。尽管这一现象看似直观,但实际上在之前,我们并不清楚模型越大效果越好。我们曾认为模型达到一定大小后会遇到瓶颈,不值得投入更多资源。

因此,需要通过一系列实验来验证,当数据量和模型大小增加时,即计算量增加时,性能曲线如何变化。研究者发现,只要计算量增加,损失就会降低,性能提升。此外,一些研究者提出,在计算量增加的过程中,会出现所谓的涌现现象,即小模型无法完成的任务,在达到一定计算量后会突然提升。

例如,计算量为10^22次方时任务表现不佳,但达到10^24次方时表现显著提升。尽管涌现现象在学术界存在争议,认为这并非凭空出现,而是平滑出现的,只是选择的指标不同。重要的是,能力确实随着模型和数据量的增加而提升。涌现能力具有不可预测性等特点,但通过更细致的研究,这些问题或许能得到解答。

2024年,由于OpenAI等领先的大语言模型公司未开源,开源社区涌现了许多训练策略和模型。我们仍采用Transformer架构和语言建模方法,在更多数据上训练,并进行了细微调整。例如,法国人工智能公司Mistral开发的Mistral模型,采用混合专家架构,而OpenBMB开发的MiniCPM模型,用20亿参数达到70到130亿模型的效果。我们进行了风动实验,并使用了新的训练策略,如WSD模拟退火调度器,以更好地学习。尽管最佳公司未开源,但开源社区如OpenBMB、HuggingFace已做出许多贡献,我们已能训练出接近甚至超过ChatGPT 3.5的模型,但与GPT-4仍有差距。训练这样的模型需要神经网络基础和语言建模等基本知识,尽管这些看似简单,实际训练时却非常复杂。

  • 超参数的微小变化可能对模型性能产生显著影响。

  • 需要在小模型上进行实验,以实施Scaling Law。

  • 并行计算的两种方式:数据并行和模型并行。

  • 数据并行涉及数据分割和模型副本的汇总更新。

  • 模型并行涉及模型分割和不同部分的计算,节省显存。

  • 现代模型训练涉及复杂的工程细节和多机器间的互联通信。

  • AI人才需具备理论知识(如神经网络、机器学习)和实践技能(如硬件操作、计算过程)。

  • 新时代AI人才应结合理论与实践,形成综合视野。

这件事变得非常复杂,例如我们的超参数,即使是一个小超参数也可能对整个模型的性能产生重大影响。我们需要考虑数据的配比以及如何实施Scaling Law,这意味着不能仅在大模型上进行实验,而应先在小模型上做好实验。另一个重要的考虑是进行并行计算。在传统的神经网络深度学习中,我们通常采用两种并行方式:数据并行和模型并行。数据并行是将数据分成多份,每张卡存储一个模型副本,每个副本处理数据后汇总更新模型。模型并行则是将模型分成多份,进行不同部分的计算,这样可以节省显存。然而,这可能会面临更复杂的问题,如多机器间的互联和通信。因此,现代模型训练不仅是科学问题,也涉及大量工程细节。AI人才不仅需要懂理论,如神经网络、机器学习和自然语言处理,还需要懂硬件和实际计算过程,如Quda和不同显卡间的操作。新时代的AI人才应将理论与实践结合,具备将不同知识联系起来形成更大视野的能力,以做出更有影响力的工作。

  • 数据集规模:Pile数据集容量为850GB,而Find Web数据集规模更大。

  • 数据选择的重要性:数据的选择、来源和配比对模型性能至关重要。

  • 数据多样性的重要性:为保持模型的通用能力,数据多样性是必要的。

  • 模型研究的焦点:2023年至2024年,许多突破性模型研究集中在数据本身。

  • AI人才的要求:新时代AI人才需具备数据工程能力,理解数据结构,并能预测数据对模型结果的影响。

一个大型模型显然需要大量的数据。这里有一个著名的数据集,名为Pile,其容量应为850GB。然而,如HuggingFace最近发布的Find Web数据集,其规模远超Pile。数据的重要性不言而喻,甚至可以说是最关键的因素。我们如何选择数据,数据来源何处,以及数据的配比,都是至关重要的。例如,如果我们希望模型在编程和数学方面表现更强,就需要加入相应的数据。同样,若希望模型在生物学领域表现出色,也需混合生物学数据。同时,我们不希望模型失去通用能力,因此数据的多样性同样重要。实际上,2023年至2024年,许多最具突破性的模型研究都集中在数据本身。继续探讨,新时代的AI人才应具备数据工程的能力,深入理解数据结构,并具备一定的直觉,以预测不同数据可能带来的结果和训练出的模型类型。众所周知,在测试集上训练通常能带来良好的结果。但由于时间关系,我们只能讨论到这里。

  • Post-training是在完成Pre-training之后进行的。

  • 假设压缩理论成立,模型在预训练后已将互联网上的所有数据压缩到其参数中。

  • 数据类型包括深入的论文、个人微博或Twitter、不同国家的政治观点、编程相关的信息(如汇编代码、Python代码和Java代码)。

  • Post-training的目的是更好地呈现这些压缩的信息。

接下来我们将讨论Post-training,刚才已经完成了所有的Pre-training部分。在Post-training中,我们可以假设所谓的压缩理论是正确的。当前的模型有能力构建互联网上的所有数据,包括最深入的论文、个人发布的微博或Twitter、不同国家的政治观点,以及编程相关的信息,如汇编代码、Python代码和Java代码。如果压缩理论成立,那么一个模型在预训练之后,已经将所有这些信息压缩到其参数中。为了更好地呈现这些信息,我们需要进行Post-training。

  • 后训练是模型训练的必要步骤,有多种称呼如对齐或适配。

  • 后训练过程的重要性需要被认识。

  • GPT-4在2022年8月完成预训练后,进行了8个月的对齐工作。

任何模型实际上都需要进行后训练。后训练有多种称呼,例如对齐(alignment)或适配(adaptation),在之前我们可能称之为微调。无论我们如何称呼,都需要了解这一过程的重要性。GPT-4在2022年8月份完成预训练后,又花费了8个月的时间进行对齐。

  • 即使是强大的模型如GPT-4,在某些领域如创作七言绝句或七言律诗上表现不佳。

  • 后训练或对齐过程主要包括四点:

    • 场景特化:使模型适应特定或多种场景,如对话场景。

    • 能力激发:有效释放模型在预训练中压缩的信息。

    • 增强稳定性和鲁棒性:通过优化过程减轻模型的幻觉问题。

    • 价值对齐:确保模型符合人类价值观,避免不当行为。

而且,即使是目前最强大的模型,也存在其不擅长的领域。例如,今天让GPT-4去创作七言绝句或七言律诗,它可能表现不佳。那么,后训练或对齐究竟涉及哪些内容呢?实际上,主要包括以下四点:首先,是场景特化,即使模型适应特定或多种场景,如对话场景。其次,是能力激发,即如何将模型在预训练中压缩的信息有效释放出来,这是其重要功能之一。第三,是增强模型的稳定性和鲁棒性,通过优化对齐或后训练过程,减轻模型的幻觉问题。最后,是价值对齐,确保模型符合人类价值观,避免其产生不当行为。这一部分将在后续课程中详细探讨。

  • OpenAI曾重视对齐问题,成立了“超级对齐”小组,由Jan Leike和Ilya Sutskever领导。

  • 该小组计划投入大量计算资源专注于超级对齐,但两位领导已离职,小组可能已不存在。

  • 对齐的定义是让AI根据输入输出人类期望的内容,如情感分类和编写代码。

  • 对齐在AI输出特定内容时尤为重要。

对齐究竟是什么?OpenAI之前非常重视对齐问题,并成立了名为“超级对齐”的小组,计划投入四分之一的计算资源专注于超级对齐。该小组由Jan Leike和Ilya Sutskever领导,但他们现已从OpenAI离职,因此超级对齐小组可能已不存在。然而,超级对齐或对齐本身仍然非常重要。对齐的定义很简单,即让AI根据特定输入输出人类期望的内容。例如,在进行情感分类时,我们要求AI判断一句话的情感是正向还是负向;在编写代码时,我们要求AI完成某个课程的大作业。当人类需要AI输出特定内容时,对齐就显得尤为重要。

例如,让GPT编写一段代码,让机器人随意移动一个物体,然后让AlphaGo进行围棋对弈,接着让BERT执行文本分类。

我们可以将其视为对齐,以使模型输出我们期望的结果。为何要对齐?因为它能够增强模型的能力,提高其可信度,并确保安全性。

  • 模型在面对道德判断时,如“人应不应该伤害别人”,会基于学到的犯罪小说和法律内容进行概率计算。

  • 模型需要通过对齐使其判断更加可靠和准确。

  • 对齐过程虽然不直接增加新知识,但能激发模型已有的知识,使其表现出新的能力。

  • 对齐和SFT、预训练的loss函数在技术上没有变化,仍依赖于语言建模和文本泛化。

  • 当前是研究对齐和后训练的理想时机,因为资源有限。

在模型不知道该往哪个方向走时,例如当我们给它输入一个人类价值观的观点,比如人应不应该伤害别人,这个模型已经学过了所有相关内容。它既学到了犯罪小说中人伤害别人的例子,也学到了法律中人不应该伤害别人的例子。那么,它如何判断哪个是正确的呢?因为我们之前提到,我们所做的一切都是基于语言建模,它所做的只是概率计算。它知道人伤害别人有一个概率,人不伤害别人也有一个概率。那么,如何确定哪个是正确的呢?因此,我们需要对齐模型,使其更加可靠,同时也增强其能力。很多人认为对齐并不能学到新的东西,只是激发了它已有的知识,这种观点是错误的。因为所谓的能力或知识,本身就是人类定义的。我们关注的只是它的表现,如果它确实表现出了新的东西,我们就可以认为它学到了新的东西。实际上,对齐和SFT(fun tuning)以及预训练的loss函数并没有任何变化,它仍然是通过语言建模在大规模文本上进行学习,并且我们希望它在未见过的文本上也能泛化。现在正是研究对齐或后训练的最佳时机,因为我们能研究预训练的人不多,包括实验室和很多公司的计算机资源都有限。

  • 预训练实验的重要性不足以吸引所有研究者。

  • 后训练的重要性逐渐超过预训练。

  • 早期人工智能系统智能水平低,无法跨任务泛化。

  • 早期研究者关注模型在特定任务上的表现。

  • 现在仅关注表现的做法已不再适用。

也不足以让每个研究者都专注于预训练实验。而且,后训练的重要性逐渐超越了预训练。在早期的人工智能系统中,它们只能执行非常有限的任务,并且智能水平很低,无法进行跨任务的泛化。例如,使用Bert训练的文本分类模型只能进行文本分类,无法执行其他任务。因此,那时的研究者只关注模型在特定任务上的表现。如果能在文本分类任务上取得顶尖成绩,就会被认为是优秀的。然而,现在这种仅关注表现的做法已经不再适用。

  • 当前系统能执行复杂任务并具备高级别智能。

  • 系统能完成一些尚未被意识到的任务。

  • 一个具体例子是ChatGPT被用来模拟Linux操作系统。

现在已经不再那么受关注,因为每个任务我们都能使其表现出色。因此,当前的系统能够执行许多复杂的任务,并具备较高级别的智能,甚至有些事情我们尚未意识到它们能够完成。例如,我记得当ChatGPT刚推出时,有一个非常引人注目的应用,即许多人利用它模拟Linux操作系统。

  • CD命令可以进入指定文件夹。

  • 创建文件夹的命令也能被执行。

  • 不确定模型是否在训练中接触过相关语料。

  • Linux操作系统可以转化为Token序列。

  • 模型能够记忆、学习和泛化这些信息。

  • 目前的模型需要进行对齐。

  • 之前的模型流程是先预训练,再进行翻译。

例如,当你输入CD命令,它能够进入指定文件夹;当你要求它创建一个文件夹,它也能做到。我们不确定它是否在训练过程中接触过这样的语料,但应该有。这种能力在当时看来几乎像是科幻小说中的情节。然而,回顾本课最初的观点,一个Linux操作系统同样可以转化为Token序列。因此,模型能够记忆、学习并泛化这些信息,也并非不可思议。目前,我们需要进行对齐。再次强调,在之前的模型中,我们首先进行预训练,然后再进行翻译。

  • 对齐过程包括在无监督语料上预训练,然后在特定任务上进行有监督训练。

  • GPT-1使用最后一个token的最深层隐藏状态,通过线性层和softmax函数输出类别概率分布。

  • BERT使用CLS token或所有token的表示平均值,通过线性层和softmax函数输出分类结果。

  • T5模型输出token,这些token在词表上形成概率分布,模糊了任务的概念。

对齐过程,即调整(tuning)、适应(adaptation)或对齐(alignment),是在无监督的语料上进行预训练,然后在特定任务上进行有监督的训练。以GPT为例,初代GPT-1在尚未发展成后来的ChatGPT时,其对齐过程如下:针对每个任务,使用最后一个token的最深层隐藏状态,并通过一个线性层输出softmax函数,该函数输出类别上的概率分布。例如,在分类任务中,若A类的概率为0.8,则该样本会被归类为A类。同样,BERT也采用类似方法,使用CLS token或所有token的表示平均值,通过线性层和softmax函数输出分类结果。而T5模型则有所不同,其输出不再是简单的类别概率分布,而是token,这些token本身也是一种概率分布,但这种分布是在词表上。因此,输入和输出都变成了token,从而模糊了任务的概念。

  • GPT-3在任务定义中转化为token到token的序列处理。

  • 后训练或对齐阶段有两条主要发展路线:

    • 第一条侧重泛化性,使用较少数据在更多任务上取得更好效果。

    • 第二条关注效率,使用更少参数或计算资源完成任务。

  • 这两条路线不冲突,即使提高效率,仍可期望模型用更少数据完成更多任务。

  • 效率路线中,传统微调方法成本高,需在每个任务后更新所有参数。

在定义好的任务中,这些任务都转化为从token到token的序列。接下来是大家熟知的GPT-3。在后训练或称为对齐阶段,主要有两条发展路线。第一条路线更侧重于泛化性,即使用较少的数据在更多任务上取得更好的效果。例如,我们可能希望仅用几条数据就能完成一个高质量的任务,或者仅用10个任务的1000条数据来完成50个任务的1万条数据。甚至,我们可能希望开发一个能够执行任何任务的模型。第二条路线则关注效率,即使用更少的参数或计算资源来完成任务。值得注意的是,这两条路线并不冲突,即使使用更少的参数和计算资源,我们仍然可以期望模型使用更少的数据来完成更多的任务。我们先讨论效率这条路线。在效率方面,传统的微调方法是在训练模型后更新所有参数,并在下一个任务中再次更新所有参数,这种方法可能成本非常高。

  • 预训练模型的高成本问题:超过90%的研究组和实验室难以承担,即使是微调也面临巨大挑战。

  • 微调成本实例:1750亿参数的模型微调可能需要100张A100,每张80GB的A100,开销巨大。

  • 引入新范式:参数高效的微调(Data Tuning),旨在使用极少的计算资源和参数更新来完成微调。

  • Data Tuning的优势:大幅降低存储空间需求,例如1750亿参数模型存储空间可降低一万倍。

  • 参数高效的微调方法分类:增量式方法、指定式方法、重参数化方法。

预训练模型的高成本使得超过90%的研究组和实验室难以承担,即使是微调也面临巨大挑战。以一个拥有1750亿参数的模型为例,进行微调可能需要100张A100,每张80GB的A100,这对于计算资源最丰富的实验室来说,开销也是巨大的。因此,我们引入了一种新的范式,称为参数高效的微调(Data Tuning)。这种微调方法旨在使用极少的计算资源,更新极少的参数来完成微调。其优势非常明显,首先可以大幅降低微调所需的存储空间。以1750亿参数的模型为例,与全参数微调相比,使用Data Tuning可以将存储空间降低一万倍。虽然微调过程中的显存并未降低至相同程度,但仍可减少约四分之三或三分之一。参数高效的微调之前并不是一个体系化的研究领域,但陆续有研究表明,许多研究实际上在做同一件事。目前,这一领域主要分为三类方法:增量式方法(Addition Based),即向模型中添加原本不存在的参数,并仅微调这些参数;指定式方法,即指定模型中哪些参数可调,哪些不可调,这可能是人工选择的,也可能是通过启发式方法或训练新的神经网络参数选择器来决定的;重参数化方法,即将微调过程转化为低秩或低维过程,实现整个优化过程的转变。

  • 论文发表于Nature Machine Intelligence,涉及参数高效微调领域。

  • 论文提出Delta Tuning框架。

  • 介绍了Adapter作为参数高效微调的初始方法。

  • Adapter在Bert时代已提出,通过在Transformer中加入小型神经网络单元实现微调。

  • 微调仅涉及0.5%到8%的参数,通过调整映射维度实现适配。

这里推荐大家阅读一篇论文,这其实也是我写的。它是我们组在参数高效微调领域,在Nature Machine Intelligence上发表的一篇综合分析性论文。在这篇论文中,我们提到了Delta Tuning这个统一的框架。接下来,我们将介绍参数高效的微调。首先,我们介绍其最初的作品,即Adapter。Adapter可以被称为适配器,无论怎么翻译都可以。实际上,它在Bert时代就被提出。其做法非常简单,即在一个Transformer中加入两个小的神经网络单元。这些神经网络单元包括一个下映射矩阵、一个非线性层和一个上映射的线性矩阵。加入这些神经网络单元后,我们只微调Adapter的参数,其他部分保持不变。通过调整下映射和上映射的维度,Adapter本身可以变大或缩小。因此,我们基本上只需微调0.5%到8%的参数,即可完成适配。这项工作其实在Bert时代就已经被提出。谢谢大家!

  • Bert的初期关注度低:由于Bert规模不大,且微调可能降低性能,初期关注度不高。

  • 微调成本的增加:随着T5和GPT-3的出现,微调成本上升,促使参数高效微调方法重新受到关注。

  • Adapter方法的介绍:Adapter方法简单,但存在前向传播负担加重的问题,尤其是在模型层数增加时。

  • LoRA方法的流行:LoRA已成为最受欢迎的参数高效微调方式,特别是在使用Diffuser模型的场景中。

实际上,当时关注Bert的人并不多,因为Bert的规模并不大,大家普遍认为既然已经进行了微调,那么就应该追求更高的性能。如果微调可能导致性能损失,那么就没有太多人关注。然而,随着T5和GPT-3的出现,人们发现微调这些模型的成本越来越高。这时,以Adapter为首的参数高效微调方法再次引起了广泛关注。现在,有一个更为著名的方法叫做LoRA,相信所有同学都听说过,它已经成为最受欢迎的参数高效微调方式,尤其是在使用了许多Diffuser模型的场景中。我们先介绍Adapter,Adapter非常简单,但我们可以发现它有一个缺点,即原本模型已经足够深,再加上两层Adapter,每层加两个Adapter,24层就需要加48个,这样前向传播的负担会加重。

  • 前向传播资源紧张,增加负荷会延长传播时间。

  • 反向传播虽无需调整所有参数,但整体不经济。

  • 研究者认为Adapter虽具开创性,但未必最优。

  • 提议将Adapter移至外部,通过增加旁路节省空间和计算资源。

  • 节省计算资源通过减少遍历网络次数,节省显存通过缩小隐藏空间形状。

  • 引入Prime Tuning和Preface Tuning,通过微调前缀矩阵达到良好效果。

在前向传播过程中,原本资源已显紧张,若再增加负荷,前向传播时间将进一步延长。尽管反向传播时,可能无需调整所有参数,其增长有限,但整体而言,这种做法并不经济。因此,许多研究者认为Adapter虽具开创性,但未必是最优选择。一种策略是将Adapter移至外部。此提议旨在提供一种新思路:通过在每一层增加旁路,连接外部Adapter,前向传播保持常规路径,反向传播则仅至某一缩放器处终止。这样既能节省空间和计算资源,也能减少显存使用。节省计算的原因在于无需前向和反向传播都遍历整个网络,而节省显存则通过缩小隐藏空间形状实现。虽然实际操作中存在诸多技巧,但这一思路为不必要在神经网络每层添加小型神经网络提供了可能。此外,还可以在隐藏空间或输入前端引入Prime Tuning或Preface Tuning,这两种方法相辅相成。Preface Tuning在神经网络每层的表示(即隐藏空间h)前加入可计算矩阵,而Prime Tuning则是其简化版本,通过微调这些前缀矩阵,后续部分保持不变,从而达到良好的效果。

  • 技术应用:在模型的输出层前加入prefix,仅调整这些prefix,中间层不添加。

  • 技术特点:prefix tuning强调参数高效,添加的上下文是无意义的soft矩阵。

  • 效果表现:在大规模模型(100亿参数)中效果与全模型微调相当,但在小模型中效果不佳。

  • 潜在问题:由于仅调整输入层的少量embedding,信息在传播中可能受损,影响效果。

我们只在输出层,即embedding层的前面,加入prefix,然后只需调整这些prefix。在中间的这些层我们不再添加,以确保其效果。这项工作在当时具有很大的影响力,但我必须指出,它与我们现在讨论的prompting(提示工程)以及后续要讲的prefix learning实际上并非同一概念。这里的prefix tuning更强调参数高效,而非添加额外的上下文。它所添加的上下文实际上是无意义的,是soft的,即一些可微调的矩阵。因此,许多人可能会混淆这一点,大家需要注意。prefix tuning发现,当模型扩展到100亿参数时,其效果与全模型微调相当。然而,当模型较小时,它无法发挥作用,因为大家可以想象,我们在输入层加入了一些很少的embedding,然后调整它们。这些embedding需要经过输出层,再反馈回输入层。在调整过程中,它仅调整了开头的这些embedding,因此许多信息可能在传播中受到损失,导致其效果并不理想。

  • LoRA(Low-Rank Adaptation)是一种热门方法,核心思想是对神经网络参数的变化量进行低秩分解。

  • 具体操作是对矩阵变化量(如B-A)进行分解,例如将1000×1000的矩阵分解为1000×1和1×1两个矩阵,以减少计算量。

  • LoRA的作者认为,尽管实际模型中的变化量可能是满秩的,但通过强制低秩分解,可以认为其本质上是低秩的,或者可以用低秩矩阵来近似表示。

  • 这种方法涉及复杂的等价关系,虽然在数学上难以精确计算,但具有深入思考的价值。

接下来将介绍目前最热门的方法——LoRA(Low-Rank Adaptation)。LoRA的核心思想是对神经网络参数的变化量进行低秩分解。需要注意的是,我们并未直接分解神经网络本身的矩阵,而是分解其参数的变化量。例如,从矩阵A变为矩阵B,B-A即为变化量。我们仅对这一变化量进行分解,例如一个1000×1000的矩阵,可以分解为1000×1和1×1两个矩阵。这种分解显著减少了计算量。实际上,我们仅调整变化量的公式,并将其转化为低秩形式。LoRA的作者认为,这种低秩表示实际上是一种本质的低秩。尽管在实际模型中,变化量可能是一个稠密的满秩矩阵,但我们强制进行低秩分解,认为其本质上具有低秩特性,或者可以用低秩矩阵来表示这种变化。虽然单个低秩矩阵可能无法完全表示,但通过对所有模型的每个矩阵进行低秩分解,某种程度上可以表示其满秩时的变化。这涉及到一个复杂的等价关系,尽管在数学上难以精确计算,但值得深入思考。此外,这也引申出一个话题,即当前许多人提出的“革命”概念。

  • 新架构在性能上超越Transformer,具有更好的学习和泛化能力。

  • 新架构的革命性在于Scaling Law,而非Transformer本身。

  • 神经网络和Transformer都能模拟复杂函数,导致性能竞赛难以分出胜负。

  • 当Scaling Law达到瓶颈时,需要更高效的架构来减少计算量。

  • LoRA利用低秩矩阵模拟满秩矩阵的变化,通过固定秩(通常为2、4、8)进行矩阵分解。

  • 秩的设定可能因任务复杂度而异,固定秩并不一定限制神经网络的复杂计算。

这个新架构在性能上超越了Transformer,能够学习更多并泛化更广,即使在相同的数据集上。实际上,这种神经网络新架构的革命性并不在于Transformer本身,而是Scaling Law。无论神经网络架构如何新颖,都是在庞大的数据集中模拟复杂的函数。由于这个函数足够复杂,神经网络和Transformer都能模拟。因此,这两者之间存在一种A能做到的B也能做到的情况,这变成了一场无法取胜的比赛。只有当Scaling Law达到瓶颈,即模型性能无法再提升时,我们才需要考虑如何用更高效的架构来模拟Transformer的表现,从而减少计算量和推理的计算量。这是题外话。

总之,LoRA就是利用低秩矩阵来模拟满秩矩阵的变化。LoRA后续有许多改进,这里重点介绍我自己的工作。LoRA将一个矩阵分解成低秩和高秩部分,中间有一个固定的秩,通常设为2、4、8,多数情况下设为8,研究发现设为16并不一定更好,可能因为任务本身很简单,不需要设得太高。尽管秩是固定的,但实际上我们都知道,神经网络的计算或在大模型中的计算是一个极度复杂的过程。当我们人为设定一个秩时,它很可能是自由的。

  • 提出的方法通过引入系数gating实现模型质量的动态调整。

  • 当某个值低于阈值时,该值设为0,导致gating和相应矩阵的行和列变为0。

  • 在LoRA基础上,模型可以进行更细致的调整,包括满值和接近全0的值。

  • 推理过程中可以丢弃0值矩阵,实现动态调整。

  • 该方法能够模拟复杂过程,每个矩阵的LoRA分解变化值各不相同。

  • 无论是adapter、prefix tuning还是LoRA,本质上都在选择参数进行微调。

  • 何俊贤老师在CMU时的工作,采用统一视角理解LoRA、prefix tuning和adapter,并用数学框架表示,发现新变体。

这里我提出了一种方法,旨在实现其质量的动态调整。具体来说,是通过在中间引入一个系数gating。例如,当一个下降量中的某个值低于某个阈值时,该值将被设为0。一旦设为0,gating本身会有一行变为0,进而导致相应矩阵的一行和一列变为0。因此,在LoRA的基础上,该模型可以实现更细致的调整,有的可能是满值,有的可能是接近全0的值。在推理过程中,我们可以丢弃这些0值矩阵。我认为这种做法相当聪明。通过这种方式,我们能够得到可以动态调整的模型,在不同位置有不同的矩阵,每个矩阵的LoRA分解变化值也各不相同,从而更好地模拟复杂过程。我们可以看到,无论是adapter、prefix tuning还是LoRA,它们本质上都在做同一件事,即选择一些参数进行微调,而其他参数保持不变。许多工作尝试用同一个视角来看待它们。这项工作是由香港科技大学的何俊贤老师在CMU时进行的,他采用了一个统一的视角,让大家理解LoRA、prefix tuning和adapter究竟在做什么,并用一个统一的数学框架表示出来,同时还能发现一些新的变体。

  • 研究内容:Data Tuning的研究工作,包括理论推导和实践应用。

  • 方法本质:Data Tuning方法在优化和自由控制方面本质上是相同的。

  • 资源推荐:推荐在Hugging Face上查看Path库和OpenData库,其中OpenData是先开发的。

  • 历史背景:在OpenData之前,Data Tuning需要直接修改模型代码,如在Bert和Roberta模型上实现超级Adapter。

刚才提到的就是我们关于Data Tuning的研究工作,实际上我们也进行了理论推导。我们发现从优化和自由控制的角度来看,这些方法本质上在做同一件事情,推导结果更为深入。如果大家对此感兴趣,可以进一步查阅相关资料。不过,Data Tuning并非本节课的重点,因此今天我们只做简要介绍。如果大家想尝试Data Tuning,可以在Hugging Face上查看Path库和OpenData库。这两个库非常有趣,实际上OpenData是我们先开发的。当时我们面临的问题是如何进行Data Tuning,需要对模型参数进行修改。在OpenData出现之前,一种做法是直接修改模型代码。例如,如果我们维护了一个Bert模型,并开发了一个名为超级Adapter的Data Tuning算法,我们需要在Bert模型上实现超级Adapter,并在Roberta模型上同样实现。这意味着我们需要在不同的模型上重复实现这些参数修改。

  • Delta tuning结构的实施:从v3升级到v4,不再适用v3版本。

  • 更新方式:选择通过调整计算图而非直接修改模型代码。

  • 计算图修改:指定模型结构变化,修改前向和后向计算方式。

  • Hugging Face的参考:可能参考了Delta tuning方法。

  • 转向泛化话题:从prompt开始讨论,包括GPT-3的1750亿参数和incontent learning。

  • prompt的定义和应用:可以是上下文的一部分,用于引导模型执行任务。

新的Delta tuning结构已经实施,接下来我将更新我的代码库,从v3升级到v4。这意味着之前的v3版本将不再适用。我们发现这种更新方式相当繁琐,因此我们选择不直接修改模型代码,而是通过调整计算图来改变代码。当引入Delta tuning后,我们指定模型结构的变化,并修改其计算图,包括前向和后向计算方式,从而避免直接修改代码库。对此感兴趣的读者可以查看相关实现。值得一提的是,Hugging Face的Path也采用了类似的方法,可能是参考了我们的做法,具体情况可以询问Hugging Face团队。

关于tuning的讨论到此结束,接下来我们将转向另一个话题——泛化。如果大家还记得,我们将从prompt开始讨论。例如,当GPT-3发布时,它拥有1750亿参数,无法进行微调,这一点之前已经提到过。我们通过描述任务来引导它执行,这种描述就是prompt。我们也可以在描述任务后提供一些例子,进行所谓的incontent learning,这些例子同样属于prompt。本质上,prompt可以是上下文的一部分,这里我们主要指的是上文。任何内容都可能被视为prompt。例如,当我们告诉XGPT这是一篇论文,并要求它阅读并指出最重要的部分时,这也是一种prompt的应用。

  • 概念转变:GPT-3之前,模型训练主要依赖传统机器学习方式;GPT-3后,引入通过上下文描述任务的新方法。

  • 任务描述方式变化:从依赖高维空间和流形定义任务(如情感分类)转变为使用语言或token直接描述任务。

  • prompt learning的兴起:将各种任务转化为语言建模任务,缩小了上下游任务的差距,使得小模型也能有效工作。

  • 发展至instruction tuning:从少样本单任务学习发展到跨任务零样本泛化,不再区分具体任务。

  • 后续研究:由OpenAI、HuggingFace和Google等机构继续推进。

这篇论文中,每一个token组合起来也是一个prompt。在GPT-3出现之前,我们似乎没有这个概念。因为在此之前,我们使用预训练模型时,仍然采用传统的机器学习方式。然而,有了GPT-3之后,我们开始意识到可以通过增加上下文来描述我们想要完成的任务,而不仅仅是依赖训练集进行训练。例如,我们之前的任务是情感分类,需要在高维空间中表示,并定义一个流形,其中落在左边的为类别A,右边为类别B。现在,我们通过使用语言或token来明确描述我们想要完成的任务。这导致了prompt learning的出现,即将任何任务(如情感分类、实体识别、知识探测)转化为语言建模任务,使得下游任务和上游任务之间没有差距。这种方法证明,即使在小模型上也能有效工作。通过添加prompt并调整一些参数,模型可以用非常少的样本来完成原本需要大量样本才能完成的任务。这种prompt learning后来演变为instruction tuning,即从单任务的少样本学习转变为跨任务的零样本泛化。简而言之,在prompt learning阶段,我们希望用少样本完成单任务,而在instruction tuning阶段,我们追求跨任务泛化,甚至不再区分任务的概念。后续的相关工作由OpenAI、HuggingFace和Google等机构进行。

其实当时我们也发现了类似的现象,即指令微调可以带来跨任务的领域泛化。这里其实也非常简单,就是我在上面这两个任务上训练了之后,然后没有见过下面的任务,下面的任务上它也能表现得非常好。

  • 指令微调与传统多任务学习的主要区别在于输入形式,使用不同的提示(prompts)和扩大输出空间。

  • 指令微调通过将任务数据转化为更模糊的形式,实现在更多任务上的评测。

  • 更大的模型或更多的数据能提升指令微调效果,如OpenAI的InstaGPT。

  • 指令微调是实现零样本泛化的关键技术,使模型在没有特定训练的情况下也能执行任务。

这就是指令微调的基本概念。现在大家可以思考一下,指令微调和传统的多任务学习,甚至是GPT-2所强调的多任务学习,究竟有何不同?实际上,它们之间确实存在差异。这种差异主要体现在指令微调的输入形式上。在指令微调中,我们使用不同的提示(prompts),即由不同人编写的上下文来代表任务。此外,我们扩大了输出空间,不仅仅是在ABC任务上训练和评测,而是在更多的任务上进行评测。我们将来自任务的数据转化为与任务关系越来越模糊的形式。这就是指令微调的作用。

指令微调还表明,更大的模型或更多的数据(尽管关于更多数据的争议仍然存在)确实能带来更好的指令微调效果。OpenAI的XGPT的前身,InstaGPT,就是通过结合指令微调和人类反馈的强化学习实现的。因此,我们现在讨论了预训练和后训练,最终讲到了指令微调,我们离构建出XGPT只有一步之遥。

最后,我想强调的是,当前大语言模型的核心能力来源于指令微调带来的零样本泛化。通过指令微调,我们发现模型能够跨任务进行零样本泛化,即在没有学习过翻译的情况下也能进行翻译,这促成了我们现在所有的大语言模型。所有可见的语言模型都离不开这一关键技术。

  • 自ChatGPT和GPT-4发布后,许多大型运营模型迅速出现,涉及众多科技公司和人工智能研究机构。

  • 这些模型均采用指令微调的基本框架,并利用其优势。

  • 著名模型包括Alpaca和BQNA。

  • 作者在疫情期间尝试微调了一个对话模型,体验其多轮对话和多任务处理能力。

自从ChatGPT和GPT-4发布后,众多大型运营模型如雨后春笋般涌现。这些模型几乎涵盖了所有科技公司和人工智能研究机构,它们各自开发了独特的模型,但无一例外地都遵循了指令微调的基本框架,并充分利用了指令微调带来的优势。其中,较为著名的模型包括Alpaca和Vicuna。值得一提的是,在ChatGPT刚发布时,正值疫情期间,我还在读博,寒假期间我独自在家,对ChatGPT的实现方式感到好奇。我尝试自己微调了一个对话模型,亲自体验其多轮对话和多任务处理的能力。

  • 工具开发门槛低:使用少量数据和简单微调即可开发出多任务对话工具。

  • 内部讨论未公开:相关发现仅在内部讨论,未对外公开。

  • 斯坦福Alpaca项目:采用自指令方法,通过种子数据生成更多数据进行微调,开发出遵循人类指令的模型。

  • Vicuna项目:使用真实世界中人与ChatGPT对话的数据进行微调,效果与ChatGPT相当。

  • 指令微调趋势:转向数据生成,方法主要是监督微调,预测下一个Token输出。

  • UltraChat项目:开发思路不追求特定任务最佳效果,而是基于Token序列构建数据。

发现实现这样一个强大的工具,其门槛确实非常低。即使使用很少的数据,只需进行简单的微调,它就能具备多端对话的能力,也能执行不同的任务。然而,这一发现仅限于我们内部讨论,并未公开发布。斯坦福的Alpaca项目则采用了自指令方法,通过种子数据生成更多数据,并在这些数据上进行微调,从而开发出一个能够遵循人类指令并完成各种任务的模型。而Vicuna则更进一步,使用真实世界中人与ChatGPT对话的数据进行微调,这种方法被称为ShareGPT。结果显示,其效果与ChatGPT相当。因此,在指令微调层面,大家更多地转向了数据生成,因为方法本身并无太大差异,都是通过监督微调,给定输入并预测下一个Token的输出。此外,我们还开发了一个名为UltraChat的项目。在开发UltraChat时,我的思路非常明确,并非为了在特定任务上达到最佳效果,而是不再通过任务来构造数据,因为任务本质上就是一系列Token。

  • 人类与机器交互的三种主要类型:

    • 信息提取:从现有资源如维基百科获取知识。

    • 信息创造:如生成新的诗歌。

    • 信息转化:如对材料或论文进行总结。

  • 在交互过程中,通常不特别区分具体的任务类型。

我们需要深入探讨的是人类与机器之间的交互方式。从信息处理的角度来看,这种交互主要分为三种类型。首先,是信息的提取,这包括从现有资源中获取知识,例如维基百科或其他搜索结果中的数据。其次,是信息的创造,例如让模型生成一首关于蛋白质的十四行诗,这种诗以前从未被创作过。最后,是信息的转化,例如对给定的材料或论文进行总结和提取。在这个过程中,我们通常不会特别关注具体的任务类型,尽管在更细致的层面上可能会有所区分。

他实际上在不知不觉中完成了许多扩散出来的任务。当时我们训练的模型效果其实也是很好。

  • UltraChat是首个在斯坦福AlpacaEval上超过80分的开源模型。

  • UltraChat的设计理念是摒弃任务概念,将所有内容转化为信息流或人机对话。

  • 另一个极端是极致发挥任务概念,如Flan任务,通过GPT-4生成数据。

  • UltraChat和Orca虽然方法极端,但最终都模糊了任务概念。

它是第一个在斯坦福的AlpacaEval上超过80分的开源模型。当然现在几乎大家都能超过80分了,甚至都能超过90分了。然后当时它的效果应该也是开源中最好的。这就是我们做的UltraChat。我们可以看到UltraChat的思想是,我不要任务的概念。我啥都转化成信息流,或者说信息人和机器对话的本身。这是一个极端。我们还可以做另一个极端,就是我们把任务的概念发挥到极致。比如说有个刚才之前提到的任务叫Flan。我们可以把Flan里面可能有几千个任务。我们把里面所有的任务,每一个任务都拿出来,把Prompt拿出来。用GPT-4给它做回答,然后生成一波这种数据。所以说这两个其实大家想想非常有意思。UltraChat和Orca两个极端,但是好像在做同一件事情。不管我是一开始就模糊任务,还是我把任务做到极致,其实也是在一种,其实也就没有了任务。你就把任务本身给模糊化了。然后它就把所有的这种输入出来,拿出来用GPT-4做。

  • 模型微调中,主要工作是构建数据集,包括输入和输出。

  • 存在争论关于指令微调所需数据量:

    • UltraChat和Orca使用数百万条数据。

    • Instrata GPT仅使用一万多条数据。

    • Lima研究表明少量高质量数据即可获得优异效果。

  • 争论焦点:数据量越少越好还是越多越好。

  • 有人质疑指令微调是否能学习新知识。

在对话、推理和数学等领域,当前大家在进行模型微调时,主要工作是构建数据集,包括数据的输入和输出。这里存在一个有趣的争论:一些研究者认为,不需要大量数据来完成指令微调。例如,UltraChat和Orca使用了数百万条数据,而Instrata GPT仅使用了一万多条。此外,Lima的研究表明,使用少量高质量数据即可获得优异效果。这引发了一个争论,即指令微调所需数据量的问题,有人认为越少越好,有人则认为越多越好。此外,还有人提出指令微调可能无法学习新知识等观点。实际上,这个问题具有重要意义。

  • 作者认为在指令微调中,数据量越多越好,因为数据越多模型能学到更多期望的内容。

  • 作者提到高质量数据在少量情况下表现与大量数据时相同,这可能是评测方式的问题。

  • 作者举例说明高质量数据的定义,如模型A正确回答“蒙娜丽莎是谁画的?”为“达芬奇”。

现在我们也可以讨论一下,我认为在指令微调中,数据量肯定是越多越好。数据越多,模型才能学到更多期望的内容。很多时候,高质量数据在少量情况下表现与大量数据时相同,我认为这主要是评测方式的问题。大家可以思考一下,什么叫高质量数据。例如,我问“蒙娜丽莎是谁画的?”模型A的回复是“达芬奇”。

  • 达芬奇是意大利艺术家,生于1452年,逝于1519年,代表作有《蒙娜丽莎》和《最后的晚餐》。

  • “高质量”概念依赖于评测标准,越接近标准质量越高。

  • 模型在指令微调和监督微调中,数据量和质量越多越好,能学到新知识。

  • 知识由人类定义,模型参数更新能学到新东西。

  • 指令微调研究中,零样本泛化机制尚不明确,包括其发生步骤、所需数据量及定义问题。

模型B回复是,达芬奇是一位艺术家,生于1452年,逝于1519年,出生于意大利。他的代表作品包括《蒙娜丽莎》和《最后的晚餐》。关于“高质量”这一概念,有人可能认为A是高质量的,但这实际上是一个伪命题,因为高质量可能与评测方式有关,越接近评测标准,质量就越高。因此,我们使用所谓的高质量数据在我们设定的评测标准上进行评测,其结果很可能是良好的。无论如何,模型在指令微调和监督微调的过程中,数据和预训练一样,越多越好,质量也是越多越好,同时也能学到新的知识。所谓的知识也是由人类定义的,什么是知识,但模型的参数确实更新了,因此也能学到新的东西。这就是关于指令微调的一切。目前,指令微调的研究仍在进行中,许多谜团我们尚未能完全解释,例如零样本泛化究竟发生在哪一步,需要多少数据来完成零样本泛化,以及零样本泛化本身是否真的是零样本泛化。现在我们可以开始思考这个问题,我们在任务A上训练完成后,它在任务B上表现良好,但实际上任务是我们自己定义的吗?是否有更本质的定义方式来解释这个问题呢?可能是由于某些token重叠,或者某些token在语义上相同。

  • 在A训练网才能在B表现好。

  • 指令微调后,模型基于人类反馈的强化学习(RLHF)。

  • RLHF使模型能遵循人类指令,模型已非常强大。

在A训练网才能在B表现好。在指令微调过后,我们现在要说的就是大家更加耳熟能详的,基于人类反馈的强化学习(RLHF)。基于人类反馈的强化学习,这张图相信大家看过很多遍了。简单来说,我们是先进行微调一个模型,然后这个模型本身已经非常强大,它可以遵循人类的指令了。

  • 使用成对比较的方式训练模型,通过最小化函数最大化赢的奖励分数和输的奖励分数之间的差值。

  • 奖励模型输出一个标量分数,分数高表示好,低表示坏。

  • 使用RLHF(PPO算法)更新模型,包含两个公式:

    • 前一项最大化模型输出的分数。

    • 后一项通过KL散度确保模型参数不偏离原参数太远,防止模型崩溃。

  • PPO算法在实际操作中较为复杂,需要工程上的细节优化。

A大于B,S1比S3好,S3比S2好。这里我们可以看到,可以如何训练呢?我们可以直接使用这种成对比较的方式来训练。我们最小化这个函数,这样实际上是最大化赢的奖励分数和输的奖励分数之间的差值。将其最大化后,我们就能得到这样一个奖励模型。对于任何一个输入和输出,它输出一个标量,这个标量就是它的分数。分数高即为好,低即为坏。从而我们就能将奖励模型应用于各个领域,以得到更好的样本。现在使用奖励模型,我们就可以进行打分。那么我们如何更新原有模型呢?这时我们使用RLHF,即所谓的PPO算法。PPO算法包含两个公式。首先,我们知道奖励模型本身具有打分功能。然后我们又加入了一项,这一项也很简单。前一项旨在提高模型输出的分数,我们最大化这个损失函数就是为了实现这一点。后一项则是确保模型更新后的参数不偏离原来的参数太远,通过KL散度来实现,以防止模型参数偏离过远,从而避免模型崩溃。然而,实际操作中的PPO算法较为复杂,需要许多工程上的细节才能实现得特别好。现在,我们就可以构建出一个ChatGPT,其实就是这些步骤。

  • 强大的能力构建方式简单,信息公开。

  • 构建步骤包括Instruction Tuning和RLHF。

  • 最新研究表明,Reward Model并非必需。

  • 可以通过数学推导去除Reward Model,实现自我评分。

  • 新公式分为获胜数据和失败数据的奖励,优化两者差异。

  • 这种方法称为DPO,不需要Reward Model。

能力如此强大,正如我们前面所言,但其构建方式实际上相当简单。这些信息都是公开的,没有任何保密内容。例如,这一步是Instruction Tuning,下一步则是进行RLHF(Reinforcement Learning from Human Feedback)。然而,最近的研究表明,Reward Model,即评分模型,并非总是必需的。例如,我们可以通过数学推导,去除Reward Model,让模型自我评分,进而推导出新的公式。在这个公式中,前半部分代表获胜数据的奖励,后半部分则代表失败数据的奖励。通过优化这两者之间的差异,我们同样在进行RLHF的过程,此时这种方法被称为DPO(Direct Preference Optimization),它不需要Reward Model。

  • DPO和PPO在效果上基本相同,且已被广泛应用。

  • RHF使用难度大,但在DPO和Zephyr出现前,开源社区中使用较少。

  • RHF的重要性在于提供A比B好的信号,帮助模型理解人类偏好。

  • 尽管RHF被多家大公司使用,但在开源社区中,只有Llama2大规模运用了RLHF。

实际上,我们通过比较原始模型和更新后的模型,可以计算出它们的评分。实验证明,DPO和PPO的效果基本相同,并且已被广泛应用。由于RHF的使用难度较大,DPO的出现使得偏好学习得到了大规模的应用。尽管RHF被OpenAI、SRP和Google等公司广泛使用,但在DPO或Zephyr出现之前,开源社区中使用RHF的情况非常少。这是因为缺乏数据且训练难度大。然而,为什么需要RHF呢?因为即使模型能够正确执行任务,也不一定能得出我们真正想要的结果。人们有时并不清楚自己真正想要什么,只知道某些偏好。因此,我们需要给模型提供A比B好的信号,即A的评分高于B,这是RHF的重要性所在。尽管之前有许多关于RHF的论文发表,但在开源社区中,只有Llama2大规模地运用了RLHF。

  • 提出了Ultra系列数据集,包括Ultra Feedback等。

  • 未使用RLHF,而是采用了RLAAF方法。

  • 通过收集指令和回复池,进行打分和回复,构建了大规模数据集。

  • 至少有1000个以上的模型使用了Ultra系列数据进行对齐。

在很多任务上的表现可能并没有那么出色。因此,这时候我们需要的就是数据。我们也是做了一个Ultra系列的数据,名为Ultra Feedback。我们没有使用RLHF,而是使用了RLAAF。这相当于去收集指令池和回复池,然后进行打分和回复。通过这种方式构造了一个超大规模的数据集。现在几乎很多模型都会使用Ultra系列的数据来进行对齐。具体模型数量不详,但至少有1000个以上的模型使用了我们的数据。此外,还有Ultra Chat、Ultra Feedback和Ultra Interactive等数据集。

  • 新方法在开源社区中非常流行,涉及数据和对齐方案。

  • 该方法已支持超过1000个模型的使用,实际数量可能更高。

  • 这些模型在Hugging Face上的下载量超过100万次。

  • 使用频率排名中,Auto Feedback位列第五,Auto Chat位列第九。

这是我们最新的方法,但今天不详细讨论。它可以说是目前开源社区中最流行的数据和对齐方案之一。实际上,我们的工作已经支持了超过1000个模型的使用。尽管我知道实际数量可能更多,因为许多未公开的项目也可能使用了我们的数据。这些模型在Hugging Face上的下载量已超过100万次。如果我们查看使用频率的排名,Auto Feedback位列第五,Auto Chat位列第九。其他高排名的是如ImageNet和Wikipedia等广泛使用的数据集。

  • 偏好学习(RLHF):为大模型提供微妙的监督信号,指示A优于B。

  • 扩展理解:通过理解模型中的偏好,可能扩展到理解宇宙信息和人类价值观。

  • 学习方法的重要性:强调偏好本身的重要性,不限于特定方法(如PPO、DPO),甚至可能通过SFT学习偏好。

  • 训练阶段:包括预训练(无监督语料)、后训练(有监督数据)和superalignment(待详细讲解)。

接下来我们将进行一个总结。RLHF,或者说称为Preference Learning,即偏好学习,它为大模型提供了一种超越答案的更为微妙的监督信号。它实际上是在告诉大模型A优于B。我们采用类似之前的思路进行扩展。当我们知道A优于B时,通过不断扩展,我们可能能够理解模型,进而理解整个世界,整个宇宙的信息。当我了解到宇宙中什么是更好的,我就隐含地学到了人类的价值观是什么样的,人类希望我具备什么样的能力,人类希望我的数学水平达到什么样,这些都隐含地被学习到。因此,无论是RLHF、PPO、DPO还是其他各种Po,其本质最重要的是偏好本身。很多时候,你甚至不需要Po,可能只需要SFT,通过不同的方式进行SFT也能学习到这种偏好。今天的课程到这里就结束了,我们讲了预训练,模型在大规模无监督语料上进行预训练,然后是后训练,在有监督的数据上进行学习。后面其实还有一个superalignment,这里我做了PPT,但后面会有一节课专门来讲这个内容。简单来说就是。

  • 模型在某些能力上超越人类,如快速总结大量书籍。

  • 确保模型没有采取捷径或隐藏行为的重要性。

  • 缺乏监督信号导致难以判断模型输出的正确性。

  • 超级对齐关注能力对齐和安全性,包括防止模型进行未监测的行为。

大家可以先思考一下,当模型在某些能力上超越人类时,例如总结一百本书,模型不仅做得更好,而且速度更快。在这种情况下,我们如何确保模型没有采取捷径或隐藏行为?当我们要求模型总结一百本书时,由于无法提供监督信号,我们无法判断其结果的正确性。模型可能表面上看起来正确,但并非我们期望的答案。因此,超级对齐关注的不仅是能力上的对齐,还包括安全性,例如模型是否可能进行未被监测的行为,如篡改代码或自我复制,甚至窃取能源。这些内容将在后续课程中详细讨论。今天的课程到此结束,谢谢大家。