1. 携程旅行(一面)
- 1. bert的预训练任务，损失函数
MASK LM 和 NEXT SENTENCE PREDICTION
交叉熵损失函数
- 2. transformer self attention过程 ⭐️⭐️⭐️⭐️⭐️
见transformer面试
- 3. transformer编码方式和bert有什么不同，为什么要用sin和cos函数
见transformer面试
- 4. CRF是判别式模型还是生生式模型，为什么
见博客判别式模式和生成式模型
- 5. 分类常用的指标，怎么计算的？roc怎么画的
- precision recall macro_precision micro_precision
- roc以真阳率（正例里预见了多少）为y轴，假阳率（反例说错了多少）为x轴
- roc是一条从左下角向右上角延伸，同时偏向左上角的曲线（正例全都判断对的比例为 1（图像顶部），说错的反例占比为 0（图像左部）【0，1坐标】）
- 6. bert等预训练模型fine tuning时候怎么优化，prompt是是怎么做的
Prompt,简单来说是：将下游任务的输入输出形式改造成预训练任务中的形式,让下游任务适应预训练模型;比如：对于情感分类，原有的任务形式是：输入：“今天天气好”输出：“正面情绪”标签的判别结果,在 prompt 范式下，这会将输入改造为：输入：“今天天气好，我的情绪是[MASK]的。输出