信息抽取数据集：多层次分类与深度分析综述
摘要
信息抽取（Information Extraction, IE）作为自然语言处理（NLP）的核心分支，其技术演进与评测基准的发展密不可分。本文系统性地梳理和分析了信息抽取领域的关键数据集，构建了一个涵盖8个主类别及多个子类别的多层次分类体系。通过对命名实体识别（NER）、关系抽取（RE）、事件抽取等任务的代表性数据集进行深度剖析，我们揭示了其在任务定义、标注范式、领域特征及技术挑战上的差异与关联。研究发现，当前数据集的发展呈现出从句子级到文档级、从扁平结构到嵌套结构、从高资源到低资源、从单模态到多模态的演进趋势。本文不仅为研究者选择合适的评测基准提供了全面的参考，也对未来数据集的构建，特别是在应对标注噪声、长尾分布和领域迁移等挑战方面，提出了前瞻性的思考。
关键词：信息抽取、数据集综述、命名实体识别、关系抽取、评测基准、少样本学习、深度学习
1. 引言
信息抽取（IE）旨在将海量非结构化或半结构化文本中的信息转化为结构化数据，是知识图谱构建、智能问答、舆情监控和金融风控等下游应用的关键技术。深度学习，特别是预训练语言模型（PLM）的出现，极大地推动了信息抽取技术的性能边界。然而，这些模型的训练、微调与评估高度依赖于大规模、高质量的标注数据集。可以说，数据集不仅是驱动模型发展的“燃料”，更是衡量技术进步的“标尺”。
近年来，信息抽取领域的数据集建设呈现出爆炸式增长和高度多样化的态M态。早期的基准如CoNLL 2003（NER）和ACE 2005（实体、关系、事件）为特定任务设定了黄金标准。随着研究的深入，新的挑战不断涌现，催生了面向更复杂场景的数据集：例如，为处理嵌套实体而生的GENIA，为评估文档级推理而构建的DocRED，为探索低资源学习而设计的Few-NERD，以及为应对多模态信息融合而提出的FUNSD-R。
这种多样性为研究带来了机遇，也带来了挑战。研究者需要在一个庞杂的数据集生态中做出明智选择，以确保其研究的有效性和可比性。因此，对现有数据集进行系统性的分类和深度分析显得尤为重要。本综述旨在：
- 构建一个全面的信息抽取数据集分类体系，揭示不同任务、不同场景下数据集的内在联系。
- 深入剖析各类别的代表性数据集，阐明其核心特点、技术挑战与研究焦点。
- 通过横向与纵向对比，分析信息抽取技术与数据集协同演化的宏观趋势。
- 为学术界和工业界的研究人员提供一份实用的数据集选择指南，并展望未来的发展方向。
2. 信息抽取数据集分类体系
为了系统地梳理信息抽取领域的数据集，我们构建了一个以任务类型为核心的层次化分类体系。该体系包含8个一级分类和多个二级分类，全面覆盖了从基础的实体识别到复杂的结构化信息生成的各个方面。
下表对该分类体系下的代表性数据集进行了多维度的总结和分析。
表1：信息抽取数据集多层次分类与深度分析
| 主类别 | 子类别 | 数据集名称 | 核心特点与任务 | 常用评估指标 | 主要挑战与研究焦点 |
|---|---|---|---|---|---|
| 命名实体识别(NER) | 通用领域NER | CoNLL 2003 | Reuters新闻语料，4类扁平实体，NER领域最经典的基准之一。 | F1, Precision, Recall | 模型泛化能力，低资源场景下的性能（如AUC-2T模型研究），边界模糊问题（如Boundary Smoothing方法）。 |
| OntoNotes 5.0 | 多领域（新闻、电话、Web文本），18类实体，是通用NER和跨领域NER的重要资源。 | F1, Micro-F1 | 处理多样的实体类型，作为少样本/跨领域任务的源领域数据，探索标签语义（Label Semantics）。 | ||
| 领域特定NER | BC5CDR | 生物医学领域，标注化学物质和疾病实体，常用于评估领域适应性。 | F1, Precision, Recall | 领域术语识别，利用对比学习进行少样本识别（CONTaiNER），通过标签精炼处理远程监督噪声（CReDEL）。 | |
| FiNER-139 | 金融领域，从公司财报中提取139种XBRL标签，任务为金融数值实体识别。 | micro-F1, macro-F1 | 处理大规模标签集，细粒度金融实体分类，利用文档结构信息。 | ||
| 中文NER | MSRA, Resume | 中文新闻和简历数据，评估模型对中文分词、字形特征的处理能力。 | F1, Precision, Recall | 利用字形信息（FGN），双语增强（Bilingual Enhancement），少样本中文NER（PCBERT）。 | |
| 嵌套NER | ACE 2005, GENIA | 包含实体相互嵌套或重叠的结构，比扁平NER更复杂。 | F1, Precision, Recall | 将任务建模为选区解析（Constituency Parsing）或指针网络，设计并行解码结构（PIN），融合异构因子（Triaffine Mechanism）。 | |
| 少样本NER | Few-NERD | 规模最大的少样本NER数据集，区分域内（INTRA）和域间（INTER）设置。 | Micro F1-score | 元学习（Decomposed Meta-Learning），对比学习与提示引导（COPNER），自描述网络（SDNet）。 | |
| 关系抽取(RE) | 句子级RE | SemEval 2010 Task 8, TACRED | 在单一句子内识别实体对的关系，是关系抽取的基础任务。 | Macro-F1 | 依赖位置编码（DPE），多粒度特征建模（SMS），处理标注噪声（TACRED Revisited）。 |
| 文档级RE | DocRED, DWIE | 关系线索分布在多个句子中，需要文档级上下文和跨句推理。 | F1, Ign_F1 | 证据句选择，图神经网络应用，实体与关系联合表示（EmRel），多任务交互建模（Joint Entity and Relation Extraction）。 | |
| 远程监督RE | NYT, Rebel | 通过对齐知识库（Freebase, Wikidata）与海量文本自动构建，规模大但含噪声。 | AUC, Micro F1, F1 | 噪声鲁棒学习，多实例学习，利用对比学习进行无监督关系抽取（HiURE），多语言远程监督（DiS-ReX）。 | |
| 少样本RE | FewRel | 包含上百种关系，每种关系只有少量标注样本，用于评估模型的快速学习能力。 | Accuracy | 元学习，原型网络，利用匹配预训练统一低资源场景（MCMN），持续学习（ERDA）。 | |
| 特定领域RE | SciERC, GDA, CDR | 科学文献、生物医学领域的关系抽取，如基因-疾病关系。 | F1, Relation Strict F1 | 领域知识融合，处理复杂的科学术语，利用课程学习优化训练过程（Trend-SL）。 | |
| 事件抽取 | - | ACE 2005-Evt, CASIE | 识别事件触发词，并抽取出事件的参与者（论元）及其角色。 | Event Trigger F1, Event Argument F1 | 联合模型设计，处理复杂事件结构和跨句论元，统一信息抽取框架（UIE）。 |
| 情感抽取 | - | 14-res, 14-lap | 抽取情感三元组（目标，观点，情感极性），是细粒度情感分析任务。 | Sentiment Triplet F1 | 结构化预测，统一信息抽取框架（UIE）。 |
| 开放信息抽取(OIE) | - | CaRB, LSOIE-wiki | 不依赖预定义模式，从开放域文本中抽取（主语，谓词，宾语）三元组。 | F1, AUC | 提高三元组的紧凑性和事实准确性（CompactIE），利用多视角句法学习（SMiLe-OIE）。 |
| 文本到表格 | - | Rotowire, WikiBio | 将非结构化文本信息填充到结构化表格中，是信息抽取的一种生成式范式。 | F1 (exact match), BERTScore | 序列到结构生成，处理复杂表格布局，保持信息一致性。 |
| 文档信息抽取 | - | FUNSD-R, CORD, SROIE | 从票据、表单等扫描文档中抽取关键信息，常涉及多模态（文本+视觉）信息。 | F1, Precision, Recall | 多模态特征融合，处理文档布局变化（如行序打乱的CORD-S），键-值对抽取。 |
| 预训练与多任务 | - | MRQA, Wikipedia and Wikidata | 用于大规模预训练或多任务学习，以提升模型的通用语义理解和泛化能力。 | F1 | 学习通用知识，为下游任务提供丰富的语义表示和概念化能力。 |
3. 各类别数据集深度分析
3.1 命名实体识别 (NER)
命名实体识别（Named Entity Recognition, NER）是信息抽取中最基础和核心的任务之一，旨在从文本中定位并分类预定义的实体类别，如人名（PER）、地名（LOC）、组织机构名（ORG）等。NER是关系抽取、事件抽取、知识图谱构建等更高级任务的基石。该领域的数据集发展体现了从通用到专业、从扁平到嵌套、从高资源到低资源的演进历程。
表2：代表性命名实体识别(NER)数据集对比
| 数据集 | 领域 | 结构 | 核心任务/特点 | 代表性性能/模型 |
|---|---|---|---|---|
| CoNLL 2003 | 新闻 | 扁平 | 通用NER基准，4类实体 | 93.65 F1 (Boundary Smoothing) |
| Ontonotes 5.0 | 综合 | 扁平 | 18类实体，多领域，规模大 | 91.74 F1 (Boundary Smoothing) |
| ACE 2005 | 新闻/语音 | 嵌套 | 7类实体，含嵌套结构 | 87.15 F1 (Boundary Smoothing) |
| GENIA | 生物医学 | 嵌套 | DNA, RNA, Protein等生物实体 | 81.77 F1 (PIN) |
| FiNER-139 | 金融 | 扁平 | 139类金融XBRL标签 | 82.1 micro-F1 (SEC-BERT-SHAPE) |
| MSRA | 中文新闻 | 扁平 | 中文NER基准 | 96.72 F1 (Biaffine) |
| Few-NERD | 维基百科 | 扁平 | 少样本NER，66个细粒度类别 | 提升10.6 F1 (Decomposed Meta-Learning) |
| MultiNERD | 多语言 | 扁平 | 10种语言，15个类别，多领域 | 77.11 F1 (English, XLM-R) |
通用领域NER是评估模型基础能力和泛化性的试金石。CoNLL 2003作为最经典的基准，至今仍被广泛使用。研究者们在其上探索了从传统CRF到现代BERT+CRF的各种架构。近期工作如《Boundary Smoothing for Named Entity Recognition》通过对实体边界的模糊处理，在CoNLL 2003上将F1分数从93.48提升至93.65，显示了在边界识别上的精细化探索。Ontonotes系列（如Ontonotes 4.0/5.0）因其规模更大、领域更多样、实体类别更丰富（18类），成为预训练和多任务学习中更受欢迎的选择。例如，UIE模型利用其作为监督信号，学习通用的结构化能力。
领域特定NER将挑战从“泛”转向“专”。在生物医学领域，BC5CDR（化学物质-疾病）和GENIA（生物分子）等数据集要求模型理解高度专业的术语。这些数据集推动了领域预训练模型（如BioBERT）的发展。例如，《CONTaiNER》利用对比学习在BC5CDR上进行少样本NER探索。在金融领域，FiNER-139数据集的出现，要求模型从财报中识别多达139种细粒度的XBRL标签，这不仅是简单的实体识别，更接近于语义标记任务，对模型的细粒度分类能力提出了极高要求。
嵌套NER处理的是实体内部包含其他实体的复杂情况，如“[美国 [纽约市]]”。ACE 2004/2005 和 GENIA 是该领域的经典数据集。这类任务无法用传统的序列标注（如BIO）直接解决，催生了多种创新范式。例如，《Nested Named Entity Recognition as Latent Lexicalized Constituency Parsing》将其转化为句法分析问题；《Parallel Instance Query Network for Named Entity Recognition》(PIN)则设计了一种并行的实例查询网络，在ACE05上取得了87.42%的F1分数，展现了并行解码在处理嵌套结构上的潜力。
少样本NER是近年来为应对现实世界中标注数据稀缺问题而兴起的研究热点。Few-NERD是该领域的里程碑式数据集，它提供了目前规模最大的细粒度少样本评测基准，并严格区分了域内（INTRA）和域间（INTER）两种设定。该数据集的发布极大地促进了元学习和度量学习在NER任务中的应用。《Decomposed Meta-Learning for Few-Shot Named Entity Recognition》提出的方法在Few-NERD上实现了高达10.6个点的F1提升，证明了元学习在快速适应新实体类型上的巨大潜力。
3.2 关系抽取 (RE)
关系抽取（Relation Extraction, RE）旨在识别文本中实体对之间存在的语义关系，例如“（奥巴马，出生于，夏威夷）”。它是构建知识图谱、实现深度语义理解的关键环节。关系抽取数据集的发展轨迹清晰地反映了从句子内到跨句子、从强监督到弱监督、从封闭集合到开放领域的演进。
表3：代表性关系抽取(RE)数据集对比
| 数据集 | 级别 | 监督方式 | 核心任务/特点 | 代表性性能/模型 |
|---|---|---|---|---|
| ACE 2005-Rel | 句子级 | 人工标注 | 黄金标准，7大类关系 | 66.54 F1 (UIE) |
| SemEval 2010 Task 8 | 句子级 | 人工标注 | 9种有向关系，分类任务基准 | 89.8 F1 (SMS) |
| TACRED | 句子级 | 人工标注 | 规模最大的句子级RE数据集，42种关系 | 71.9 F1 (SMS) / 79.8 F1 (Revisited) |
| NYT / Rebel | 句子级 | 远程监督 | 对齐Freebase/Wikidata，规模大但有噪声 | 93.96 F1 (UIE, Relation Boundary) |
| DocRED | 文档级 | 人工标注 | 文档级跨句推理，96种关系 | 62.77 F1 (SAIS, Test) |
| SciERC | 文档级 | 人工标注 | 科学文献领域，7种关系 | 37.05 F1 (UIE) |
| FewRel | 句子级 | 远程/人工 | 少样本关系分类，80/100种关系 | 87.4% Acc (MCMN, 5-shot) |
| DiS-ReX | 句子级 | 远程监督 | 多语言（4种），包含负样本 | 73% Micro F1 (Baseline) |
句子级关系抽取是关系抽取的基础。ACE 2005-Rel和SemEval 2010 Task 8提供了高质量的人工标注，是评估监督学习模型的经典基准。TACRED以其庞大的规模（超过10万样本）成为近年来最受欢迎的句子级RE数据集。然而，研究发现TACRED存在约8%的标签错误，这催生了Tacred Revisited，它修正了开发集和测试集中的错误标签，为模型评估提供了更可靠的基准。在Revisited版本上，模型的F1分数普遍有显著提升，说明了数据质量对评估的巨大影响。
文档级关系抽取是当前的研究前沿，它要求模型具备跨句子推理的能力。DocRED是这一领域的标杆性数据集，其关系事实通常需要综合文档中的多个句子才能得出。这推动了图神经网络（GNN）、篇章结构建模和证据句选择等技术的发展。《SAIS》通过对中间步骤进行监督和增强，在DocRED上取得了当时最优的62.77 F1分数。DWIE则是新闻领域的文档级IE数据集，同时包含实体、共指和关系标注，适合进行联合抽取模型的探索。
远程监督关系抽取为解决标注数据稀缺问题提供了有效途径。通过将知识库（如Freebase, Wikidata）中的关系三元组与大规模未标注文本（如纽约时报语料）进行对齐，NYT和Rebel等数据集得以自动构建。这种方法的主要挑战是处理不可避免的“错误标签”问题（即句子虽包含实体对，但并未表达目标关系）。多实例学习（Multi-instance Learning）是应对这一挑战的主流范式。DiS-ReX则进一步将远程监督扩展到多语言场景，并特意包含了负样本，使其比早期多语言数据集（如RELX-Distant）更具挑战性。
少样本关系抽取旨在让模型仅通过少量样本就学会识别新的关系类型。FewRel是该领域的代表性数据集，它提供了N-way K-shot的评测范式。FewRel的出现极大地推动了原型网络、匹配网络等度量学习方法在RE任务上的应用。《Pre-training to Match for Unified Low-shot Relation Extraction》(MCMN)通过匹配预训练统一了零样本、少样本等多种低资源场景，在FewRel上取得了SOTA性能。《Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation》(ERDA)则将挑战进一步升级到持续学习场景，要求模型在学习新关系的同时不遗忘旧关系。
3.3 事件抽取
事件抽取（Event Extraction）旨在从文本中识别出特定类型的事件以及参与该事件的元素（论元）及其所扮演的角色。例如，在“A公司收购了B公司”这句话中，事件类型是“收购”，论元包括“A公司”（收购方）和“B公司”（被收购方）。这是一个比NER和RE更复杂的结构化抽取任务。
表4：代表性事件抽取数据集对比
| 数据集 | 领域 | 核心任务/特点 | 论元类型 | 代表性性能/模型 |
|---|---|---|---|---|
| ACE 2005-Evt | 新闻/语音 | 事件抽取黄金标准，33种事件类型 | 实体、时间、数值等 | 触发词: 73.36 F1, 论元: 54.79 F1 (UIE) |
| CASIE | 网络安全 | 关注网络攻击事件，5种事件类型 | 实体、时间、IP地址等 | 触发词: 70.77 F1, 论元: 63.05 F1 (UIE) |
ACE 2005-Evt是事件抽取领域影响力最深远的数据集。它定义了一套完整的事件标注体系，包含事件触发词（trigger）和事件论元（argument）两个子任务。触发词识别相对简单，而论元角色分类则更具挑战性，因为它需要理解论元与事件之间的复杂语义关系。许多研究工作都围绕ACE 2005展开，探索联合建模、篇章级事件关联等问题。
CASIE则是一个面向特定领域的事件抽取数据集，专注于网络安全领域。与通用领域的ACE相比，CASIE的事件类型更专业，如“攻击”、“入侵”等。这类领域数据集对于开发垂直领域的智能应用（如安全态势感知系统）至关重要。UIE（Unified Information Extraction）模型作为一个统一的抽取框架，在ACE05-Evt和CASIE上都展示了强大的性能，证明了通过统一的结构生成范式处理不同IE任务的可行性。事件抽取的主要挑战在于论元可能跨越多个句子，以及如何处理复杂的事件嵌套和共指问题，这些都是未来数据集和模型需要重点关注的方向。
3.4 情感抽取
情感抽取（Sentiment Extraction），也称为面向方面的情感分析（ABSA），是细粒度情感分析的一种形式。它不仅要判断文本的整体情感极性，还要抽取出情感所针对的目标（Aspect）、表达的情感词（Opinion）以及情感极性（Polarity），形成情感三元组。
表5：代表性情感抽取数据集对比
| 数据集 | 领域 | 核心任务/特点 | 评测指标 | 代表性性能/模型 |
|---|---|---|---|---|
| 14-res/14-lap | 餐厅/笔记本评论 | SemEval 2014任务，情感三元组抽取 | Sentiment Triplet F1 | 14-res: 76.35 F1, 14-lap: 65.46 F1 (UIE) |
| 15-res/16-res | 餐厅评论 | SemEval 2015/2016任务，延续14年任务 | Sentiment Triplet F1 | 15-res: 68.80 F1, 16-res: 75.07 F1 (UIE) |
这一系列数据集源自国际语义评测（SemEval）的挑战赛，主要集中在产品评论领域（如餐厅和笔记本电脑）。这些数据集的发布，推动了情感抽取任务从分离式流水线方法向端到端的联合抽取模型演进。例如，早期的工作可能先抽取出方面词和观点词，再进行配对和极性判断。而像UIE这样的新范式，则尝试在一个统一的生成框架内直接输出完整的情感三元组。从性能上看，餐厅评论（res）上的F1分数普遍高于笔记本电脑评论（lap），这可能与后者的语言更复杂、技术性更强有关。情感抽取任务的挑战在于处理隐式情感（如“这电脑能煮鸡蛋了”表达过热）和复杂句式中的情感关系。
3.5 开放信息抽取 (OIE)
开放信息抽取（Open Information Extraction, OIE）的目标是不依赖于任何预定义的领域或关系模式，从大规模开放域文本中自动抽取结构化的关系三元组，通常形式为（主语, 谓词, 宾语）。OIE系统对于需要从海量未知文本中快速构建知识库的场景至关重要。
表6：代表性开放信息抽取(OIE)数据集对比
| 数据集 | 来源 | 规模（句子数） | 核心任务/特点 | 代表性性能/模型 |
|---|---|---|---|---|
| LSOIE-wiki/sci | QA-SRL 2.0 | 2.4万 / 4.8万 | 大规模OIE训练/评测，区分维基和科学领域 | wiki: 51.73 F1, sci: 60.51 F1 (SMiLe-OIE) |
| CaRB | 众包标注 | 1,282 (人工) | 规模最大的众包OIE评测集 | 53.76 F1 (SMiLe-OIE) |
| BenchIE | - | - | 事实为中心的OIE评估 | 26.2 F1 (COMPACTIE) |
| Wire57 | - | 57 | 细粒度OIE评测 | 31.8 F1 (COMPACTIE) |
OIE数据集的构建和评估本身就是一个挑战。早期的评估依赖于小规模的人工标注。CaRB是目前规模最大的众包标注OIE评测集，为OIE系统的性能比较提供了一个相对公平的基准。LSOIE系列数据集则是通过转换QA-SRL语料库构建的大规模训练和测试集，这使得基于监督学习的OIE模型（特别是基于神经网络的模型）成为可能。
OIE的核心挑战在于抽取的质量。许多系统会产生大量非事实、不完整或冗余的三元组。《CompactIE》这篇工作就专注于提升抽取事实的“紧凑性”，并在Wire57和BenchIE等细粒度评测集上进行了验证。另一前沿方向是句法感知的OIE，如《Syntactic Multi-view Learning for Open Information Extraction》(SMiLe-OIE)利用句法依赖和成分树等多视角信息来指导抽取过程，在LSOIE和CaRB上都取得了不错的性能。
3.6 文本到表格 (Text-to-Table)
文本到表格（Text-to-Table）是一种新兴的信息抽取范式，其任务是将一段非结构化文本中的信息，自动地、结构化地填充到一个预定义或动态生成的表格中。这可以看作是一种条件文本生成任务，其中输入是文本，输出是结构化的表格表示。
表7：代表性文本到表格数据集对比
| 数据集 | 领域 | 核心任务/特点 | 规模（训练集） | 常用评估指标 |
|---|---|---|---|---|
| Rotowire | 体育（篮球） | 从比赛战报生成球队和球员数据表格 | 3.4k | F1 (exact match), chrf, BERTScore |
| E2E | 餐厅评论 | 从餐厅描述生成属性表格 | 42.1k | F1 (exact match), chrf, BERTScore |
| WikiBio | 维基百科 | 从人物简介生成信息框（infobox）表格 | 582.7k | F1 (exact match), chrf, BERTScore |
| WikiTableText | 维基百科 | 从描述文本生成包含行和列的表格 | 10.0k | F1 (exact match), chrf, BERTScore |
这一系列数据集的共同特点是提供了（文本，表格）的平行对。Rotowire是体育新闻领域的经典数据集，要求模型从一篇篮球比赛报道中抽取出两队的得分统计表。E2E则聚焦于餐厅评论领域，任务相对简单，但数据规模较大。WikiBio是目前规模最大的该类数据集，它利用维基百科的人物条目引言和信息框（infobox）构建了海量的平行语料。
《Text-to-Table: A New Way of Information Extraction》这篇工作系统地探索了利用seq2seq模型解决这类任务的可行性，并发现其性能在大多数指标上优于传统的抽取式基线方法。这表明生成式方法在信息抽取领域具有巨大潜力。该任务的主要挑战包括：如何保证生成内容的真实性（忠于原文）、如何处理复杂的表格结构（如多行多列、合并单元格），以及如何从长文本中捕获和组织信息。
3.7 文档信息抽取
文档信息抽取（Document Information Extraction）专注于从半结构化的扫描文档中提取信息，如收据、发票、表单和简历等。与纯文本IE不同，这类任务通常需要同时利用文本内容、布局（坐标位置）、视觉特征（字体、颜色）等多模态信息。
表8：代表性文档信息抽取数据集对比
| 数据集 | 文档类型 | 核心任务/特点 | 规模 | 代表性性能/模型 |
|---|---|---|---|---|
| FUNSD-R | 表单 | 键-值对抽取，同时进行实体抽取和链接 | 1,421训练键 | 0.5333 F1 (GMN) |
| CORD | 收据 | 30个字段的字段级标注 | 800训练收据 | 0.9745 F1 (GMN) |
| SROIE | 收据 | 4个预定义类别的实体识别 | 626训练收据 | 0.9821 F1 (GMN) |
| CORD-S / SROIE-S | 收据 | CORD/SROIE的行序打乱版本，模拟复杂布局 | 基于原数据集 | CORD-S: 0.9416 F1 (GMN) |
FUNSD-R（Form Understanding in Noisy Scanned Documents, Relabeled）是一个标注了键-值对关系的表单理解数据集，其挑战在于不仅要识别出“键”（如“姓名”）和“值”（如“张三”），还要正确地将它们链接起来。CORD和SROIE则是两个专注于收据信息抽取的数据集，任务是抽取出商铺名称、日期、总金额等关键字段。
为了测试模型对布局变化的鲁棒性，研究者们还构建了CORD-S和SROIE-S，它们通过随机打乱原始文档的文本行顺序来创造更具挑战性的测试环境。在这些数据集上，仅依赖文本序列信息的模型性能会急剧下降，而能够融合布局和视觉信息的多模态模型（如GMN）则表现出更强的鲁棒性。这些数据集的出现，极大地推动了LayoutLM、LayoutXLM等视觉-语言联合预训练模型的发展，也为无纸化办公、财务自动化等工业应用提供了关键的技术评测基准。
3.8 预训练与多任务学习
除了面向特定任务的数据集，还有一类数据集主要用于大规模预训练或多任务学习，旨在为下游任务提供通用的语义表示或学习跨任务的泛化能力。
表9：代表性预训练与多任务学习数据集
| 数据集 | 来源 | 规模 | 核心用途 |
|---|---|---|---|
| MRQA | 多个QA数据集 | 195k 实例 | 作为间接监督信号，为IE任务学习概念化能力 |
| Wikipedia and Wikidata | 维基百科/数据 | 56M 句子 | 用于预训练SDNet模型，学习实体和概念描述 |
| IIT-CDIP Test Collection 1.0 | 内部文档 | 6M+ 文档 | GMN模型的多模态预训练 |
| Enron Email Dataset | Enron邮件 | 0.5M 邮件 | GMN模型的预训练，利用邮件的结构化信息 |
MRQA（Machine Reading for Question Answering）本身是一个问答数据集集合，但在《Universal Information Extraction as Unified Semantic Matching》中，它被巧妙地用作“间接监督”信号。通过在这些大规模QA数据上进行训练，模型可以学习到丰富的语义知识和概念化能力，从而在信息抽取任务上表现得更好。这为利用其他NLP任务的数据增强IE模型提供了新的思路。
Wikipedia and Wikidata的组合则为《Few-shot Named Entity Recognition with Self-describing Networks》(SDNet)提供了海量的预训练语料。SDNet通过让模型学习预测与实体相关的维基百科描述，从而将标签语义融入模型中，极大地提升了其在少样本NER任务上的性能。这体现了利用大规模无结构和有结构数据协同进行预训练的趋势。IIT-CDIP和Enron数据集则被用于多模态模型GMN的预训练，前者提供了海量的扫描文档图像和文本，后者则包含大量半结构化的邮件数据，这些都为模型学习文档版面和结构知识提供了宝贵的信号。
4. 横向对比与发展趋势
通过对上述各类数据集的分析，我们可以观察到信息抽取领域的几个关键发展趋势和持续存在的挑战。
4.1 标注粒度与任务复杂度的演进
信息抽取的任务复杂度在不断提升，这一点在数据集的标注粒度上得到了清晰的体现。
- 从词元到框架：任务从最初的词元级标注（NER的BIO标签），发展到实体对级别（RE），再到更复杂的事件框架级别（事件抽取中的触发词-论元结构）。
- 从句子到文档：抽取单元从单个句子（如TACRED）扩展到整个文档（如DocRED）。这要求模型具备更强的长距离依赖建模和篇章级推理能力，也使得GNN等图模型在IE领域得到广泛应用。
- 从扁平到嵌套：实体和事件结构从简单的扁平列表发展到可以相互嵌套的复杂树状或图状结构（如ACE 2005），这对模型的解码能力提出了更高的要求。
4.2 监督信号的来源与演化
高质量人工标注成本高昂，这驱动了研究者探索更多样化的监督信号来源。
- 从强监督到弱监督/无监督：以RE为例，从完全依赖人工标注的ACE 2005，发展到利用知识库进行远程监督的NYT，再到近期利用对比学习进行无监督关系发现的HiURE，监督信号的强度在逐渐减弱，但数据的规模在指数级增长。
- 从直接监督到间接监督：如UIE利用MRQA问答数据集作为间接监督，通过多任务学习将QA任务中的语义理解能力迁移到IE任务中，这为利用海量异构数据提供了新范式。
- 从单模态到多模态：在文档信息抽取中，单纯的文本信息已不足以应对复杂的版面变化。FUNSD-R、CORD等数据集将视觉布局信息作为与文本同等重要的监督信号，推动了多模态预训练模型的发展。
4.3 评测范式的多样化与挑战
随着研究的深入，评测范式也从单一的“高资源-全监督”模式向更加贴近现实应用场景的模式演进。
- 低资源学习：少样本（Few-shot）和零样本（Zero-shot）学习成为研究热点。Few-NERD和FewRel等数据集的出现，使得对模型快速学习和泛化能力的评估成为可能。
- 领域迁移与泛化：跨领域（如从新闻到社交媒体）、跨语言（如MultiNERD）的评测越来越受重视。这要求模型不仅在特定数据集上表现优异，更要具备良好的迁移能力。
- 鲁棒性与公平性：研究者开始关注模型在噪声数据（如Conll03-Typos）、对抗样本和长尾分布数据上的表现。TACRED Revisited的出现也反映了社区对评测数据质量和评估可靠性的更高要求。
5. 总结与展望
本文系统地回顾并分析了信息抽取领域的关键数据集，构建了一个涵盖8大类任务的分类体系。通过对128个代表性数据集的深度剖析，我们揭示了该领域在任务定义、数据构建、评测范式和技术挑战上的演进脉络。
核心发现：
- 协同进化：数据集的发展与模型技术的发展呈现出紧密的协同进化关系。新的数据集（如DocRED）催生了新的技术方向（如图神经网络在RE中的应用），而新的模型范式（如UIE）又促进了对不同IE任务进行统一建模的思考。
- 标注范式驱动创新：从远程监督到对比学习，从提示学习到生成式抽取，数据标注范式的演变直接驱动了IE领域学习范式的创新，有效缓解了对大规模人工标注的依赖。
- “通用”与“专用”的平衡：一方面，研究者追求在Ontonotes等通用基准上取得更高性能；另一方面，面向生物医学、金融等领域的专用数据集不断涌现，对模型的领域适应能力提出了更高要求。如何在通用知识和领域知识之间取得平衡是未来研究的重要课题。
未来展望：
- 动态与交互式基准：静态的数据集已难以满足对模型持续学习、人机协同等能力的评估。未来可能会出现动态更新的基准，甚至允许模型与标注环境进行交互的评测平台。
- 可解释性与因果推断：除了关注F1分数，未来的数据集可能会加入对模型决策过程的可解释性标注，例如，标注出决定关系成立的关键证据句（如DocRED中的证据标注），以推动可解释IE和因果推断IE的研究。
- 统一的多模态知识抽取：融合文本、图像、表格甚至语音的统一知识抽取是未来的大势所趋。我们需要构建更大规模、更复杂的多模态平行语料，以支持能够同时理解和抽取多源信息的下一代信息抽取模型。
信息抽取的数据集生态仍在不断演化和丰富。我们希望本综述能为该领域的科研人员提供一份有价值的参考，助力其在纷繁的数据集中找准方向，推动信息抽取技术向着更智能、更通用、更可靠的目标迈进。