Self-supervised Learning(BERT/GPT/T5)

李宏毅老师《Pre-train Model》

什么是:Self-supervised Learning

BERT

BERT 能做什么

Mask Input

Next Sentence Prediction(not helpful)

BERT其它的能力

上述的能力，可以认为是一种填空的能力，那么除了这些，还有哪些有用的能力呢？

BERT能力模型评估

GLUE(General Language Understanding Evaluation)

GLUE是一个自然语言理解（NLU）任务的评测基准，由华盛顿大学 & Google Brain 联合发布（2018 年）。

就像给 NLP 模型搞期末考试一样，通过一系列标准化任务，看模型对语言理解能力到底行不行。

GLUE 里都考什么？

GLUE 是一个任务集合（benchmark suite），包含了 9 个子任务，主要考：

• 句子关系判断
• 情感分类
• 语义相似度
• 推理能力
• 语言蕴含关系

核心任务表：

BERT and its Family GLUE scores

TraIning BERT

How to use BERT

Use Case1: 情感分析

Use Case2: 词性标注

Use Case3: 自然语言蕴含推理

NLI(Natural Language Inference): 给定两句话，第二句是不是能从第一句推理出来、相矛盾，还是无关？

** NLI 任务通常分类**

Use Case4: 抽取式问答

Extraction-based QA（抽取式问答） 是一种 从给定文本中直接抽取答案片段的问答方法。
特点：

• 给定一段上下文 + 一个问题
• 系统在上下文里找出一段或一句话，作为答案
• 答案必须是原文里的内容（抽取出来，不是生成出来）

举个例子

上下文：“OpenAI 是一家人工智能研究机构，成立于 2015 年，总部位于旧金山。”
问题： “OpenAI 成立于哪一年？”
抽取式答案： “2015 年”

Why does BERT work?

Contextualized word embedding

Apply BERT to protein,DNA, music classification

Multi-lingual BERT

例:用英文的QA问题训练，用中文做QA问答

why

这些相同语意的词，中、英文词 的词向量很近.

零样本阅读理解

Zero-shot Reading Comprehension（零样本阅读理解 ）指的是： 不给模型提供任何相似示例，直接让模型基于上下文和问题，理解语义、判断答案或生成回答。

例:

• 上下文：“OpenAI 成立于 2015 年，总部在旧金山，专注于 AI 技术研究。”

• 问题： “OpenAI 的总部在哪？”

• Zero-shot 模型行为：
  • 没有事先见过类似「总部在哪」的训练样本
  • 依靠语言理解能力，定位上下文中的「总部在旧金山」，直接输出

它和 Few-shot / Fine-tuning 的区别

GPT(Generative Pre-trained Transformer)

生成式预训练 Transformer 模型

Predict Next Token

<BOS>: begin-of-sentence

How to use GPT

Few-shot/One-shot/Zero-shot Learning

T5

T5全称: Text-To-Text Transfer Transformer
由 Google AI 团队 2019 年发布，发表在论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》

它和 GPT 最大不同

• GPT 是文本 → 文本生成，偏生成式
• T5 是·“所有 NLP 任务都统一成 Text-to-Text 格式”

不管是翻译、分类、问答、摘要，全部都按照这个套路来做：

输入：一句文本（带任务提示）
输出：一句文本（任务结果）

本质上就是一个编码器-解码器结构的 Transformer。

T5 典型应用场景

#T5、BERT、GPT 各自区别