图 5-1。可用于为文本手工制作 n-gram 特征的技术示例

图 5-2。模型中包含的关于评论、话题或用户的一些可能特征

处理缺失值

您可能会注意到的第一件事在生产中处理数据时，缺少某些值。但是，我采访过的许多 ML 工程师不知道的一件事是，并非所有类型的缺失值都是相等的。2为了说明这一点，请考虑预测某人是否会在未来 12 个月内买房的任务。我们掌握的部分数据在表 5-2中。

缺失值分为三种类型。这些类型的官方名称有点混乱，因此我们将通过详细的示例来减轻混淆。

非随机缺失 (MNAR)

这是缺少值的原因是因为真值本身。在这个例子中，我们可能会注意到一些受访者没有披露他们的收入。经调查发现，未报告的受访者的收入往往高于已披露的受访者。由于与值本身相关的原因，收入值缺失。

随机缺失 (MAR)

这是当一个值丢失的原因不是由于值本身，而是由于另一个观察到的变量。在在这个例子中，我们可能会注意到性别“A”的受访者经常缺少年龄值，这可能是因为本次调查中性别 A 的人不喜欢透露他们的年龄。

完全随机缺失 (MCAR)

这是当没有模式的时候缺少值。在这个例子中，我们可能认为“工作”列的缺失值可能是完全随机的，不是因为工作本身，也不是因为任何其他变量。人们有时会无缘无故忘记填写该值。然而，这种类型的失踪是非常罕见的。缺少某些值通常是有原因的，您应该进行调查。

遇到缺失值时，既可以用一定的值填充缺失值（插补），也可以去掉缺失值（删除）。我们将讨论两者。

缩放

考虑预测任务未来12个月是否有人买房，数据见表5-2。我们数据中变量 Age 的值范围为 20 到 40，而变量年收入的值范围为 10,000 到 150,000。当我们将这两个变量输入到 ML 模型中时，它不会理解 150,000 和 40 代表不同的事物。它只会将它们都视为数字，并且因为数字 150,000 比 40 大得多，它可能会赋予它更多的重要性，而不管哪个变量实际上对生成预测更有用。

在将特征输入模型之前，将它们缩放到相似的范围很重要。这个过程称为特征缩放。这是您可以做的最简单的事情之一，通常可以提高模型的性能。忽视这样做可能会导致您的模型做出胡言乱语的预测，尤其是使用梯度提升树和逻辑回归等经典算法时。4

扩展特征的一种直观方法是使它们在 [0, 1] 范围内。给定一个变量x，它的值可以使用以下公式重新调整到这个范围内：

您可以验证如果x是最大值，则缩放值x ' 将为 1。如果x是最小值，则缩放值x ' 将为 0。

如果您希望您的特征在任意范围 [ a , b ] 中——根据经验，我发现范围 [–1, 1] 比 [0, 1] 范围更好——你可以使用以下公式：

当您不想对变量做出任何假设时，缩放到任意范围效果很好。如果您认为您的变量可能服从正态分布，则将它们归一化以使它们具有零均值和单位方差可能会有所帮助。这个过程称为标准化：

和X¯是变量x的平均值，并且p是它的标准差。

在实践中，ML 模型倾向于与遵循偏态分布的功能作斗争。为了帮助减轻偏度，一种常用的技术是对数转换：将对数函数应用于您的特征。图 5-3显示了一个日志转换如何减少数据偏差的示例。虽然这种技术可以在许多情况下产生性能提升，但它并不适用于所有情况，您应该警惕对日志转换数据而不是原始数据执行的分析。5

关于缩放有两件重要的事情需要注意。一是它是数据泄漏的常见来源（这将在“数据泄漏”部分更详细地介绍）。另一个是它通常需要全局统计——你必须查看整个或一部分训练数据来计算它的最小值、最大值或平均值。在推理过程中，您可以重复使用在训练期间获得的统计数据来扩展新数据。如果新数据与训练相比发生了显着变化，那么这些统计数据将不是很有用。因此，经常重新训练您的模型以考虑到这一点很重要对于这些变化。

离散化

该技术包含在本书中，用于完整性，尽管在实践中，我很少发现离散化有帮助。假设我们已经使用表 5-2中的数据构建了一个模型。在训练过程中，我们的模型已经看到了“150,000”、“50,000”、“100,000”等的年收入值。在推理过程中，我们的模型遇到了一个年收入为“9,000.50”的例子。

直观地说，我们知道每年 9,000.50 美元与每年 10,000 美元没有太大区别，我们希望我们的模型以同样的方式对待这两者。但模型不知道这一点。我们的模型只知道 9,000.50 和 10,000 不同，它会区别对待它们。

离散化是将连续特征转化为离散特征的过程。这个过程也称为量化或分箱。这是通过为给定值创建存储桶来完成的。对于年收入，您可能希望将它们分为三个桶，如下所示：

• 较低的收入：低于 35,000 美元/年

• 中等收入：35,000 至 100,000 美元/年

• 高收入：超过10万美元/年

我们的模型不必学习无限数量的可能收入，而是可以只专注于学习三个类别，这是一项更容易学习的任务。这种技术应该对有限的训练数据更有帮助。

尽管根据定义，离散化是针对连续特征的，但它也可以用于离散特征。年龄变量是离散的，但将值分组到如下桶中可能仍然有用：

• 小于 18

• 18 至 22 岁之间

• 22 到 30 之间

• 30 到 40 之间

• 40 到 65 之间

• 65岁以上

缺点是这种分类在类别边界处引入了不连续性——34,999 美元现在被视为与 35,000 美元完全不同，后者被视为与 100,000 美元相同。选择类别的边界可能并不那么容易。你可以尝试绘制值的直方图并选择有意义的边界。一般来说，常识、基本分位数，有时甚至是主题专业知识都会有所帮助。

编码分类特征

我们已经讨论过如何转为连续特征转化为分类特征。在本节中，我们将讨论如何最好地处理分类特征。

没有在生产中使用过数据的人倾向于认为类别是静态的，这意味着类别不会随着时间而改变。许多类别都是如此。例如，年龄段和收入等级不太可能发生变化，并且您可以提前确切知道有多少类别。处理这些类别很简单。你可以给每个类别一个数字，你就完成了。

但是，在生产中，类别会发生变化。想象一下，您正在构建一个推荐系统来预测用户可能想从亚马逊购买哪些产品。您要使用的功能之一是产品品牌。在查看亚马逊的历史数据时，您会发现品牌众多。早在 2019 年，亚马逊上就已经有超过 200 万个品牌！6

品牌的数量是压倒性的，但你认为：“我仍然可以处理这个。” 您将每个品牌编码为一个数字，所以现在您有 200 万个数字，从 0 到 1,999,999，对应于 200 万个品牌。您的模型在历史测试集上表现出色，并且您获准在今天的 1% 的流量上对其进行测试。

在生产中，您的模型会崩溃，因为它遇到了以前从未见过的品牌，因此无法编码。新品牌一直在加入亚马逊。为了解决这个问题，您创建了一个值为 2,000,000 的类别 UNKNOWN，以捕获您的模型在训练期间未见过的所有品牌。

您的模型不再崩溃，但您的卖家抱怨他们的新品牌没有获得任何流量。这是因为您的模型在火车集中没有看到类别 UNKNOWN，所以它不推荐任何 UNKNOWN 品牌的产品。您可以通过仅将前 99% 最受欢迎的品牌编码并将后 1% 的品牌编码为 UNKNOWN 来解决此问题。这样，至少您的模型知道如何处理 UNKNOWN 品牌。

您的模型似乎可以正常工作大约一小时，然后产品推荐的点击率直线下降。在过去的一个小时内，有 20 个新品牌加入了您的网站；其中一些是新的奢侈品牌，其中一些是粗略的仿冒品牌，其中一些是老牌品牌。但是，您的模型对待它们的方式与处理训练数据中不受欢迎的品牌的方式相同。

这不是一个极端的例子，只有在亚马逊工作时才会发生。这个问题经常发生。例如，如果您想预测评论是否为垃圾邮件，您可能希望将发布此评论的帐户用作一项功能，并且一直在创建新帐户。新产品类型、新网站域、新餐厅、新公司、新 IP 地址等也是如此。如果你与他们中的任何一个一起工作，你将不得不处理这个问题。

找到解决这个问题的方法被证明是非常困难的。您不想将它们放入一组存储桶中，因为这真的很难——您甚至会如何将新用户帐户放入不同的组中？

这个问题的一种解决方案是散列技巧，由微软开发的包 Vowpal Wabbit 推广。7这个技巧的要点是您使用散列函数来生成每个类别的散列值。散列值将成为该类别的索引。因为可以指定散列空间，所以可以预先固定一个特征的编码值数量，而不必知道会有多少类别。例如，如果您选择一个 18 位的散列空间，对应于 2 18 = 262,144 个可能的散列值，那么所有类别，即使是您的模型从未见过的类别，都将由 0 到 262,143 之间的索引编码。

散列函数的一个问题是冲突：两个类别被分配了相同的索引。然而，对于许多散列函数，冲突是随机的；新品牌可以与任何现有品牌共享索引，而不是总是与不受欢迎的品牌共享索引，当我们使用前面的 UNKNOWN 类别时会发生这种情况。幸运的是，碰撞散列特征的影响并没有那么糟糕。在 Booking.com 的研究中，即使是 50% 的碰撞特征，性能损失也小于 0.5%，如图 5-4所示。8

图 5-4。50% 的碰撞率只会导致 log loss 增加不到 0.5%。资料来源：卢卡斯·伯纳迪

你可以选择一个足够大的散列空间来减少冲突。您还可以选择具有所需属性的散列函数，例如位置敏感的散列函数，其中相似的类别（例如具有相似名称的网站）被散列为彼此接近的值。

因为这是一个技巧，所以它经常被学者们认为是 hacky 并且被排除在 ML 课程之外。但它在行业中的广泛采用证明了该技巧的有效性。它对 Vowpal Wabbit 至关重要，它是 scikit-learn、TensorFlow 和 gensim 框架的一部分。它在模型的持续学习环境中特别有用从生产中的传入示例中学习。我们将在第 9 章介绍持续学习。

特征交叉

特征交叉是技术组合两个或多个特征以生成新特征。该技术可用于对特征之间的非线性关系进行建模。例如，对于预测某人是否会在未来 12 个月内买房的任务，您怀疑婚姻状况和孩子数量之间可能存在非线性关系，因此您将它们结合起来创建一个新特征“婚姻和儿童”，如表 5-3 所示。

表 5-3。如何组合两个功能以创建新功能的示例

因为特征交叉有助于对变量之间的非线性关系进行建模，所以对于无法学习或不善于学习非线性关系的模型（例如线性回归、逻辑回归和基于树的模型）来说，它是必不可少的。它在神经网络中不太重要，但它仍然很有用，因为显式特征交叉有时有助于神经网络更快地学习非线性关系。DeepFM 和 xDeepFM 是成功利用显式特征交互进行推荐系统和点击率预测的模型家族。9

特征交叉的一个警告是它可以让你的特征空间爆炸。假设特征 A 有 100 个可能的值，而特征 B 有 100 个可能的特征；交叉这两个特征将产生一个具有 100 × 100 = 10,000 个可能值的特征。您将需要更多的模型数据来学习所有这些可能的值。另一个需要注意的是，由于特征交叉增加了模型使用的特征数量，它会使模型过度拟合训练数据。

离散和连续位置嵌入

在论文“Attention Is All You Need” （Vaswani et al. 2017）中首次向深度学习社区介绍，位置嵌入已成为一种适用于计算机视觉和 NLP 中许多应用的标准数据工程技术。我们将通过一个示例来说明为什么位置嵌入是必要的以及如何做到这一点。

考虑语言建模任务，您希望根据先前的标记序列预测下一个标记（例如，单词、字符或子词）。在实践中，序列长度可以达到 512，如果不是更大的话。然而，为简单起见，让我们使用单词作为我们的标记，并使用 8 的序列长度。给定 8 个单词的任意序列，例如“有时我真正想做的是”，我们想要预测下一个单词。

如果我们使用循环神经网络，它将按顺序处理单词，这意味着单词是隐式输入的。但是，如果我们使用像转换器这样的模型，单词是并行处理的，因此需要显式输入单词的位置，以便我们的模型知道这些单词的顺序（“a dog beats a child”与“a孩子咬狗”）。我们不想将绝对位置 0、1、2、...、7 输入到我们的模型中，因为根据经验，神经网络不能很好地处理非单位方差的输入（这就是我们缩放特征的原因，如前面“缩放”部分所述）。

如果我们将位置重新缩放到 0 和 1 之间，那么 0, 1, 2, ..., 7 变为 0, 0.143, 0.286, ..., 1，这两个位置之间的差异将太小，神经网络无法学习区分。

处理位置嵌入的一种方法是像对待词嵌入一样对待它。对于词嵌入，我们使用一个以词汇量大小作为列数的嵌入矩阵，每一列是该列索引处的词的嵌入。使用位置嵌入，列数就是位置数。在我们的例子中，因为我们只使用之前的序列大小 8，所以位置从 0 到 7（见图 5-5）。

位置的嵌入大小通常与单词的嵌入大小相同，以便它们可以相加。例如，位置 0 处单词“food”的嵌入是单词“food”的嵌入向量和位置 0 的嵌入向量之和。这是截至 8 月在 Hugging Face 的 BERT 中实现位置嵌入的方式2021. 因为嵌入随着模型权重的更新而变化，所以我们说位置嵌入是学习的。

位置嵌入也可以固定。每个位置的嵌入仍然是一个包含S个元素的向量（S是位置嵌入大小），但每个元素都是使用函数预定义的，通常是正弦和余弦。在原始的 Transformer 论文中，如果元素位于偶数索引处，请使用正弦。否则，使用余弦。请参见图5-6。

固定位置嵌入是所谓的傅立叶特征的一个特例。如果位置嵌入中的位置是离散的，则傅立叶特征也可以是连续的。考虑涉及 3D 对象表示的任务，例如茶壶。茶壶表面的每个位置都用一个连续的三维坐标表示。当位置连续时，很难构建具有连续列索引的嵌入矩阵，但使用正弦和余弦函数的固定位置嵌入仍然有效。

以下是通用格式在坐标v处嵌入向量，也称为坐标v的傅里叶特征。傅立叶特征已被证明可以提高模型的性能对于将坐标（或位置）作为输入的任务。如果有兴趣，您可能想在“傅里叶特征让网络学习低维域中的高频函数”（Tancik 等人，2020 年）中阅读更多相关信息。

警示故事：KAGGLE 竞赛导致数据泄露

2020 年，利物浦大学在 Kaggle 上发起了 Ion Switching 比赛。任务是确定每个时间点打开的离子通道的数量。他们从训练数据中合成了测试数据，还有一些人们能够逆向工程并从泄漏中获取测试标签。13本次比赛的两支获胜球队是能够利用漏洞的两支球队，尽管他们可能在不利用漏洞的情况下仍然能够获胜。14

数据泄露的常见原因

在本节中，我们将讨论一些导致数据泄漏的常见原因以及如何避免它们。

随机而不是按时间拆分与时间相关的数据

当我在大学学习 ML 时，我被教导将我的数据随机拆分为训练、验证和测试拆分。据报道，这也是机器学习研究论文中数据经常被拆分的方式。然而，这也是数据泄露的常见原因之一。

在许多情况下，数据是时间相关的，这意味着数据生成的时间会影响其标签分布。有时，相关性是显而易见的，例如股票价格。简单地说，类似股票的价格往往会一起波动。如果今天 90% 的科技股下跌，那么其他 10% 的科技股很可能也会下跌。在构建预测未来股票价格的模型时，您希望按时间拆分训练数据，例如根据前六天的数据训练模型并根据第七天的数据对其进行评估。如果您随机拆分数据，则从第 7 天开始的价格将包含在您的火车拆分中，并将当天的市场状况泄漏到您的模型中。我们说来自未来的信息被泄露到训练过程中。

然而，在许多情况下，相关性并不明显。考虑预测某人是否会点击歌曲推荐的任务。一个人是否会听一首歌不仅取决于他们的音乐品味，还取决于当天的总体音乐趋势。如果某天某位艺术家去世，人们将更有可能聆听该艺术家的作品。通过在火车拆分中包含某一天的样本，有关当天音乐趋势的信息将传递到您的模型中，使其更容易在同一天对其他样本进行预测。

为了防止未来的信息泄漏到训练过程中并允许模型在评估期间作弊，请尽可能按时间拆分数据，而不是随机拆分。例如，如果您有 5 周的数据，则使用前 4 周进行训练拆分，然后将第 5 周随机拆分为验证和测试拆分，如图 5-7所示。

图 5-7。按时间拆分数据，防止未来信息泄漏到训练过程中

检测数据泄露

数据泄漏可能发生在许多步骤中，从生成、收集、采样、拆分和处理数据到特征工程。在 ML 项目的整个生命周期中监控数据泄漏非常重要。

测量每个特征或一组特征对目标变量（标签）的预测能力。如果某个特征具有异常高的相关性，请调查该特征是如何生成的以及相关性是否有意义。有可能两个特征独立不包含泄漏，但是两个特征一起可以包含泄漏。例如，在构建模型来预测员工将在公司停留多长时间时，开始日期和结束日期分别不能告诉我们他们的任期，但两者一起可以为我们提供这些信息。

进行消融研究以衡量一个特征或一组特征对您的模型的重要性。如果删除某个特征会导致模型的性能显着下降，请调查该特征为何如此重要。如果你有大量的特征，比如一千个特征，对它们的每一个可能的组合进行消融研究可能是不可行的，但是偶尔用你最怀疑的特征子集进行消融研究仍然很有用. 这是主题专业知识如何在特征工程中派上用场的另一个例子。消融研究可以按照您自己的计划离线运行，因此您可以在停机期间利用您的机器来实现此目的。

留意添加到模型中的新功能。如果添加新功能显着提高了模型的性能，则要么该功能非常好，要么该功能仅包含有关标签的泄露信息。

每次查看测试拆分时都要非常小心。如果您以除报告模型最终性能之外的任何方式使用测试拆分，无论是提出新功能的想法还是调整超参数，您都有可能将未来的信息泄露到您的训练过程中。

特征重要性

有许多不同的方法衡量一个特征的重要性。如果您使用经典的 ML 算法，例如提升梯度树，衡量特征重要性的最简单方法是使用实​​现的内置特征重要性函数通过 XGBoost。17对于更多与模型无关的方法，您可能需要查看 SHAP（SHapley Additive exPlanations）。18 InterpretML是一个出色的开源软件包，它利用特征重要性来帮助您了解模型如何进行预测。

特征重要性测量的精确算法很复杂，但直观地说，特征的重要性如果从模型中删除该特征或包含该特征的一组特征，则该模型的性能下降多少来衡量模型的性能。SHAP 很棒，因为它不仅可以衡量一个特征对整个模型的重要性，还可以衡量每个特征对模型特定预测的贡献。图5-8和5-9显示了 SHAP 如何帮助您了解每个特征对模型预测的贡献。

图 5-8。每个特征对模型的单一预测有多大贡献，由 SHAP 衡量。值 LSTAT = 4.98 对这一特定预测的贡献最大。资料来源：斯科特·伦德伯格19

图 5-9。每个特征对模型的贡献程度，由 SHAP 衡量。特征 LSTAT 具有最高的重要性。资料来源：斯科特·伦德伯格

 通常，少数特征占模型特征重要性的很大一部分。在测量点击率预测模型的特征重要性时，Facebook 的广告团队发现前 10 个特征约占模型总特征重要性的一半，而后 300 个特征贡献的特征重要性不到 1%，如图 5-10所示。20

图 5-10。提升特征重要性。X 轴对应于特征的数量。特征重要性以对数表示。资料来源：他等人。

不仅有利于选择正确的特征，特征重要性技术对可解释性也很有帮助，因为它们可以帮助您了解模型在后台是如何工作的。

特征泛化

由于 ML 模型的目标是对看不见的数据做出正确的预测，因此用于模型的特征应该泛化到看不见的数据。并非所有特征都具有同等的概括性。例如，对于预测评论是否为垃圾邮件的任务，每条评论的标识符根本无法泛化，不应该用作模型的特征。但是，发布评论的用户的标识符（例如用户名）可能仍然有助于模型进行预测。

衡量特征泛化远没有衡量特征重要性的科学性，它需要在统计知识之上的直觉和主题专业知识。总的来说，关于泛化，您可能需要考虑两个方面：特征覆盖和特征值的分布。

覆盖率是数据中具有此特征值的样本的百分比，因此缺失的值越少，覆盖率就越高。一个粗略的经验法则是，如果此功能出现在您数据的一小部分中，那么它就不会很普遍。例如，如果你想建立一个模型来预测某人是否会在未来 12 个月内买房，并且你认为某人拥有的孩子数量将是一个很好的特征，但你只能获得 1% 的这个信息您的数据，此功能可能不是很有用。

这个经验法则很粗略，因为即使您的大多数数据中缺少某些功能，它们仍然有用。当缺失值不是随机的时尤其如此，这意味着是否具有该特征可能是其价值的强烈指示。例如，如果某个特征仅出现在 1% 的数据中，但 99% 的具有此特征的示例都有 POSITIVE 标签，则此特征很有用，您应该使用它。

随着时间的推移，不同数据切片甚至同一数据切片中的特征覆盖范围可能会有很大差异。如果一个特征的覆盖率在训练集和测试集之间有很大差异（例如它出现在训练集的 90% 的示例中，但仅出现在测试集的 20% 的示例中），这表明您的训练和测试分裂不是来自同一个分布。您可能想调查拆分数据的方式是否有意义，以及此功能是否会导致数据泄漏。

对于存在的特征值，您可能需要查看它们的分布。如果出现在可见数据（例如训练拆分）中的值集与出现在未见过数据（例如测试拆分）中的值集没有重叠，则此功能甚至可能会损害模型的性能。

作为一个具体的例子，假设你想建立一个模型来估计给定出租车所需的时间。您每周重新训练此模型，并且您希望使用过去六天的数据来预测今天的 ETA（预计到达时间）。其中一项功能是 DAY_OF_THE_WEEK，您认为这很有用，因为工作日的流量通常比周末差。此功能覆盖率为 100%，因为它存在于每个功能中。但是，在火车拆分中，此特征的值是周一到周六，而在测试拆分中，此特征的值是周日。如果您在模型中包含此功能而没有巧妙的方案来编码日期，则它不会推广到测试拆分，并且可能会损害模型的性能。

另一方面，HOUR_OF_THE_DAY 是一个很棒的特征，因为一天中的时间也会影响交通，并且火车拆分中此特征的值范围与测试拆分 100% 重叠。

在考虑特征的泛化性时，需要在泛化性和特异性之间进行权衡。您可能会意识到一个小时内的流量仅根据该小时是否是高峰时间。因此，您生成特征 IS_RUSH_HOUR 并将其设置为 1，如果时间介于上午 7 点和上午 9 点之间或下午 4 点和下午 6 点之间，IS_RUSH_HOUR 更通用但不如 HOUR_OF_THE_DAY 特定。在没有 HOUR_OF_THE_DAY 的情况下使用 IS_RUSH_HOUR 可能会导致模型丢失有关小时的重要信息。