文章目录
- 1. 携程旅行(一面)
- 2. 依图科技
- 3. soul app
- 4. 智慧芽
- 5. 携程2面
- 4. 小红书
-
- 4.1. CRF模型在BERT-CRF 模型中的作用⭐️⭐️⭐️⭐️⭐️
- 4.2. RNN的问题,LSTM是如何解决的
- 4.3. 嵌套实体如何解决
- 4.4. 防止过拟合的方法,L1和L2正则的不同,L1正则为什么有特征选择的作用
- 4.5. self-attention的原理,multi head attention有什么作用
- 4.6. 开放题:一篇文章中有两个实体,如何确定哪个实体是文章的主题:如一篇旅游的文章,讲黄山的同时,也和故宫对比了,如何确定黄山才是本文讲的重点
- 4.7. 数据结构算法题:列表中有一个数字的出现次数超过列表长度的一半,找出该数字,要求时间复杂度O(n),空间复杂度O(1)
- 5. 字节
- 6. 阿里二面
- 其他
1. 携程旅行(一面)
- 1. bert的预训练任务,损失函数
MASK LM 和 NEXT SENTENCE PREDICTION
交叉熵损失函数 - 2. transformer self attention过程 ⭐️⭐️⭐️⭐️⭐️
见transformer面试 - 3. transformer编码方式和bert有什么不同,为什么要用sin和cos函数
见transformer面试 - 4. CRF是判别式模型还是生生式模型,为什么
见博客判别式模式和生成式模型 - 5. 分类常用的指标,怎么计算的?roc怎么画的
- precision recall macro_precision micro_precision
- roc以真阳率(正例里预见了多少)为y轴,假阳率(反例说错了多少)为x轴
- roc是一条从左下角向右上角延伸,同时偏向左上角的曲线(正例全都判断对的比例为 1(图像顶部),说错的反例占比为 0(图像左部)【0,1坐标】)
- 6. bert等预训练模型fine tuning时候怎么优化,prompt是是怎么做的
Prompt,简单来说是:将下游任务的输入输出形式改造成预训练任务中的形式,让下游任务适应预训练模型;比如:对于情感分类,原有的任务形式是:输入:“今天天气好”输出:“正面情绪”标签的判别结果,在 prompt 范式下,这会将输入改造为:输入:“今天天气好,我的情绪是[MASK]的。输出
本文含有隐藏内容,请 开通VIP 后查看