【NLP高频面题 - LLM架构篇】LLM对Transformer都有哪些优化?

发布于:2024-11-29 ⋅ 阅读:(28) ⋅ 点赞:(0)

【NLP高频面题 - LLM架构篇】LLM对Transformer都有哪些优化?

⚠︎ 重要性:★★★ 💯


NLP Github 项目:


目前主流的大模型架构都是基于LLaMa架构的改造,LLaMa(Large Language Model Meta AI)是由Meta AI开发的一种大语言模型,其核心架构是基于Transformer模型,这是一种由多层自注意力机制和前馈神经网络组成的深度学习结构。

具体来说,LLaMa模型主要由Attention和MLP层堆叠而成,并采用了前置层归一化、RMSNorm归一化函数、SwiGLU激活函数、分组查询注意力机制和旋转位置编码等技术进行改进。

LLaMa模型具有多种参数规模版本,包括7B、13B、33B和65B等多种不同的参数量,这是目前语言领域领先模型中的主流架构。


NLP 大模型高频面题汇总

NLP基础篇
BERT 模型面
LLMs 微调面