【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

发布于：2025-02-10 ⋅ 阅读:(53) ⋅ 点赞:(0)

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

重要性：★★★

NLP Github 项目：

NLP 项目实践：fasterai/nlp-project-practice

介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验
AI 藏经阁：https://gitee.com/fasterai/ai-e-book

介绍：该仓库主要分享了数百本 AI 领域电子书
AI 算法面经：fasterai/nlp-interview-handbook#面经

介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器
NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

介绍：该仓库汇总了 NLP 算法工程师高频面题

Transformer 位置编码矩阵究竟是如何计算的呢？如下所示，Transformer 论文“Attention Is All You Need”的作者使用了正弦函数来计算位置编码：
在这里插入图片描述

$p os$ 表示该词在句子中的位置
$i$ 表示在输入矩阵中的位置
$d_{model}$ 表示嵌入维度

计算实例：对于给定的句子 I am good 为例，嵌入维度为4，计算位置编码。

根据公式计算位置编码矩阵：
计算位置编码矩阵（简化版）：
继续计算位置编码矩阵：
最终的位置编码矩阵 $P$ 如图所示:

NLP 大模型高频面题汇总

NLP基础面

【NLP 面试宝典之模型分类】必须要会的高频面题
【NLP 面试宝典之神经网络】必须要会的高频面题
【NLP 面试宝典之主动学习】必须要会的高频面题
【NLP 面试宝典之超参数优化】必须要会的高频面题
【NLP 面试宝典之正则化】必须要会的高频面题
【NLP 面试宝典之过拟合】必须要会的高频面题
【NLP 面试宝典之 Dropout】必须要会的高频面题
【NLP 面试宝典之 EarlyStopping】必须要会的高频面题
【NLP 面试宝典之标签平滑】必须要会的高频面题
【NLP 面试宝典之 Warm up 】必须要会的高频面题
【NLP 面试宝典之置信学习】必须要会的高频面题
【NLP 面试宝典之伪标签】必须要会的高频面题
【NLP 面试宝典之类别不均衡问题】必须要会的高频面题
【NLP 面试宝典之交叉验证】必须要会的高频面题
【NLP 面试宝典之词嵌入】必须要会的高频面题
【NLP 面试宝典之 One-Hot】必须要会的高频面题
…

BERT 模型面

【NLP 面试宝典之 BERT模型】必须要会的高频面题
【NLP 面试宝典之 BERT变体】必须要会的高频面题
【NLP 面试宝典之 BERT应用】必须要会的高频面题
…

LLMs 微调面

【NLP 面试宝典之 LoRA微调】必须要会的高频面题
【NLP 面试宝典之 Prompt】必须要会的高频面题
【NLP 面试宝典之提示学习微调】必须要会的高频面题
【NLP 面试宝典之 PEFT微调】必须要会的高频面题
【NLP 面试宝典之 Chain-of-Thought微调】必须要会的高频面题
…