华为HCIP AI EI Developer 选择题重点总结
一、ModelArts知识点
- 模型部署功能对应深度学习开发中的推理部分。
- 自动学习不可以进行图像分割。遗传算法不属于所支持的超参搜索算法。
- 导入模型的方式主要有四种：从模板中选择、从OBS中选择、从容器中选择以及上传本地模型文件。
- ModelArts的作用是代码预测
- 不支持自动调优
- 在线服务属于部署这一模块
- 数据管理中创建数据集合不包括图像生成
- 用户自定义的超参在“运行参数”字段中进行设置。
- 预设模型的本质是迁移学习
- 不支持TPU算力资源
- 数据管理功能对应于数据
- 支持的图片标注类型有图像分类、物体检测、图像分割
- 图片数据集合不支持webp,gif
- “特征提取”不属于ModelArts自动学习的流程。
- 曲线类型的标注框不支持物体检测数据集标注
二、词向量训练方法
- 基于统计的词向量的方法是Glove。
- 训练动态词向量的方法是ELMO
- FastText、GloVe、Word2Vec中的CBOW和Skip-gram两种模型。这四个模型都是训练静态词的模型。
- NegativeSampling（负采样）是一种在训练词向量时用于优化的技术或方法。
- CBOW和Skip-Gram都是可以训练词向量的方法，但是Skip-Gram要比CBOW更慢一些。CBOW根据背景词预测中心词，Skip-Gram根据中心词预背景词
- 双向语言模型：ELMO和BERT
三、马尔可夫链问题
隐马尔科夫链（HMM）的三大问题，学习（训练），评价，解码。
前向后向算法计算P(O/A)，即输出序列、隐含序列Baum-Welch算法求出最优解：根据最佳序列组合的音素和单词：得出最佳序列根据语言模型形成词和句子。
马尔可夫链的学习算法是穷举法。
隐马尔可夫链的学习问题使用的算法是Baum-welch 算法
自然语言处理中可以使用HMM
评价问题可以使用前向后向算法
隐马尔科夫链中的观测概率由高斯混合模型计算得出（GMM）、转移概率、初始概率是三大要素。
四、华为产品
昇腾芯片的内核框架是达芬奇框架。华为自研的深度学习开发框架是MindSpore。
MindSpore不可以自动编码
昇腾AI处理器属于NPU芯片
芯片从业务上来讲，主要是用于训练和推理，昇腾310为推理芯片，最大功耗8W；昇腾910为训川练芯片，最大功耗310W
华为人工智能计算平台为Atlas
华为于2019年推出了Ascend系列IP和系列处理
达芬奇架构(Al Core)计算单元提供了三种基础计算资源，矩阵计算单元(CubeUnit)、向量计算单元Vector Unit)、标量计算单元(Scalar Unit)，不包含张量计算单元
CANN（华为Ascend AI 计算神经网络深度学习框架）提供了三种不同的算子开发方式，包括 TBE DSL、TBE TIK、AICPU三种开发方式。
TBE（TensorBuilderEngine）是用于构建和开发神经网络的一个模块。该模块具有较高的可定制性，其中包含了对自定义算子的开发接口。
“Atlas800型号3000”明确表示了该设备是昇腾计算推出的推理服务器
五、华为云API
- 在使用华为云提供的图像标签API时，为了设置置信度的阈值使用threshold
- 华为云EI自然语言处理API，不支持娱乐类
- 华为云计算语言服务，使用SDK ，采用AK/SK认证，采用浏览器使用Token
- 五官特征检测API返回的是68个关键点坐标，用于代表人脸五官轮廓位置。
- 用户使用的流程：申请服务-获取请求认证-调用API-查看信息
- 华为云API符合的设计规范为“RestfulAPI”
- 登录OBS 不支持邮箱登录
- 华为云内容检测服务中，POST不是公共请求消息头
- 请求服务器新增资源或执行特殊操作的方法POST
- 请求服务器返回指定资源使用GET
- 语言合成结口的API POST v1.0/voice/tts
- 华为云EI自然语言处理服务提供的关键词抽取API extract_keyword
六、图像处理
- HSV颜色空间中，色相（H）表示颜色的相位角，其取值范围是0到360度。减少蓝光，减缓疲劳可以调整色相
- HSV彩色空间中，H代表色相（Hue），S代表饱和度（Saturation），取值范围0到1，V代表亮度（Value）取值范围是0到1。
- 印刷工业中常用的颜色空间是CMYK
- 逆光拍照，伽马取值0.5
- 对比度压缩是减少相邻灰度级的灰度差别，增强是增加
- 文档矫正使用4个像素点进行透视变换或者3个坐标点进行仿射变换
- 伽马变化是对图像的每个像素点进行独立的调整，属于点处理。直方图均衡化是通过调整图像的直方图来改变图像的对比度是一个全局性的调整属于大局处理。均值滤波是通过计算像素点周围邻域内像素的平均值来替换该像素值是一个局部性的处理
- 虚化背景是变得模糊，均值滤波模糊的图像更均匀，中值滤波主要用于小噪点处理，高斯滤波克服了均值滤波的模糊化
- 数字图像处理中，取样和量化后的图像可以被看作是一个二维数组或矩阵，其中每个元素对应图像中的一个像素点，矩阵的行和列分别对应图像的高度和宽度。
- 采样：将空间上连续的图像变换成离散点的操作称为采样。
- 量化：经采样图像被分割成空间上离散的像素，但其灰度是连续的，还不能用计算机进行处理所以需要量化操作将灰度转换成离散的整数值。
- 插值：坐标变化后得到的坐标不一定是整数，非整数坐标处的像素值需要用周围的整数坐标的像素值来进行计算。
- 图像识别任务的三个层次，图像处理、图像分析，图像理解
- 图像分类作业标注是给图片输入类别标签
- 一副4位的图像能够区分16中变化，2的四次方
- (255，255，255)纯白色：(0，0，0)代表纯黑色
- 图像分析的输出是图像内容
- 对角邻域包括左上、左下、右上、右下四个位置，4邻域指上下左右四个像素
- 计算像素的LBP特征，如果该像素比周围的都下，算出特征值为255
- 阴天拍照光线不好，亮度直方图右边比较平坦，左边有峰波
- OUSU算法使用类间方差作为最佳阈值
七、自然语言处理和语言处理
- 端到端的语言识别算法需要重点解决过拟合的问题
- Seq2Seq模型是一种常用于自然语言处理任务的模型结构，其中Encoder部分负责将输入序列编码成上下文向量。
- 传统序列标注方法有HMM、MEMM、CRF：基于深度学习序列标注方法有RNN/LSTM、BiLSTM+CRF、BERT
- 自然语言的理解和分析的五个层次：语音分析，从语音流中区分音素，再找出音节及其对应的词素或词。词法分析是找出词汇的各个词素。句法分析，是对句子和短语的结构进行分析，目的是要找出词、短语等的相互关系。语义分析，是找出词义、结构意义及其结合意义。语用分析，是研究语言所存在的外界环境对语言使用者所产生的影响。
- 文语转换，语音合成（TTS），语言识别（ASR），语言信号处理（SSP）
- 语言识别预处理包括静音切除，降噪，平滑，标准化不包含去重。
- 在自然语言处理的发展过程中，出现了多种方法，其中基于深度学习的方法是目前最主流的方法之一。基于统计的方法和基于规则的方法也是自然语言处理中常用的方法，但它们不是基于递归的方法。
- 条件随机场（ConditionalRandomField，简称CRF）是一种用于序列标注任务的机器学习模型，广泛应用于自然语言处理等领域。
- 语音学包括声学语音学（研究语音的物理属性）、语言语音学（研究语音在语言中的使用）、听觉语音学（研究语音的感知）和发音语音学（研究语音的产生机制）。不包括语义语音学
- 关键词提取常用方法。TF-IDF，TextRank，主题模型算法(LSA、LSl、LDA)
- 声学语音学：研究怎样对语言的声音进行声学分析，比如声波的频率、时长、振幅等。重点是声学两个字，不包括语义
- 语言特征提取方法，PLP MFCC LPC
- 高斯混合模型（GMM）在语言识别中的作用是了观测数据在总体样本中的概率分布，即一个音素的多位数值分布。
- 对于单高斯模型，我们通常使用最大似然估计（MLE）来进行参数估计
- 词法、句法、语义是自然语言处理的三个层面
- 梅尔频率倒谱系数(MFCC)考虑到了人类的听觉特征，是一个12维的向量。
- 最大似然估计的求解步骤。首先，我们需要知道概率密度函数，接着，我们根据概率密度函数构造似然函数，然后，对似然函数取对数，得到对数似然函数，之后，对这个对数似然函数求导，并令其为0，得到似然方程，最后，解这个方程，得到参数的估计值
- 参数合成方法需要精心调整参数，但准确提取共振峰参数比较困难
- 线性预测系数(LPC)LPC、倒谱系数(LPCC)、线谱对参数(LSP)、共振峰率（前三个共振峰）短时谱M频率倒谱系数(MFCC)感知线性预测(PLP)语言特征提取方法
- 采集频率为f,帧数为a,声音信号长度a/f
- 开运算将字符连通域分开
- gensium中词向量的维度是size
八、神经网络与深度学习
- Softmax函数主要作用于输出层
- 动量优化器是优化器的一种，加入了动量项，包括前一次的方向和大小。并且优化器不可以寻找最优超参数
- YOLOv1模型同时预测边界框和目标分类
- 偏差很小方差很大，过拟合
- 创建了Lisp语言，约翰·麦卡锡
- 卷积神经网络，每一个卷积核在遍历整个图像时，其参数是固定不变的
- 卷积核的作用是提取局部特征
- 用一个3*3的卷积核对三通道的彩色图像进行卷积学习需要学习的参数是27，单个通道卷积核参数数量为3∗3，输入是三通道，卷积核也为三通道，所以3∗3∗3
- CNN适合处理图像任务，不适合处理NLP相关任务，在计算机视觉方面表现突出
- 卷积运算得到的特征图，有几个通道，取决于有几个卷积核，和卷积核的数量一样
- 全连接层作用是分类
- 卷积神经网络最大的模型是：ResNet。引入了残差连接和块，克服了梯度消失和退化问题也是人脸识别采用的网络
- 集成学习方法Bagging Boosting Stacking。而Marking是标注的意思
- K-means算法是一种基于划分的聚类算法，它通过迭代更新簇中心来保证收敛，即算法最终会收敛到局部最优解。
- 朴素贝叶斯算法是基于特征之间相互独立的假设来构建分类器的，它并不借助树状结构来刻画属性间的依赖关系。
- 循环神经网络RNN隐藏层循环涉及反馈训练参数
- 随机梯度下降在每次迭代时仅使用一个样本来更新参数，相较于批量梯度下降（每次迭代使用全部样本），这大大减少了计算量，因此迭代速度更快。但随机梯度下降的收敛过程可能较为波动。
- 梯度下降的目的是优化参数
- NNLM模型指神经网络语言模型。一般使用softmax激活函数将最终的输出量化。
- AdaGrad算法，学习率减少
- Ground Truth是正确的标注意思。其他几个都是常用的特征描述子，HOG、LBP通常用于行人检测车辆检测。Haar和Adaboots常用于人脸检测
- DNN模型为了获得更好的性能提升，引入了上下文信息（也就是前后特征帧信息），所以被称为CD-DNN-HMM模型
- 反向传播算法不包括归一化
- LSTM中被放置了三扇门，分别叫做输入门、遗忘门和输出门。一个信息进入LSTM的网络中，可以根据规则判断是否有用。只有符合算法认证的信息才会留下，不符合信息则通过遗忘门被遗忘。 遗忘门使用的激活函数是用sigmoid
- GRU(门控循环单元)是LSTM的简化版，包含更新门：输入门、输出门、遗忘门都是LSTM的结构，特有的门结构是更新门
- Adaboost属于集成学习思想：DT即决策树，通用机器学习模型N-gram是专门用于NLP的模型
- 专家系统属于符号主义
- 在设计激活函数时，需要考虑多个因素，其中包括非线性、连续可微性、以及函数的可实现性等。其中，有单调导数的平滑函数已经被证明在某些情况下具有更好的泛化效果。
- ReLU（值域处于0到正无穷）相比于Sigmoid解决了梯度消失问题
九、TensorFlow
- 在TensorFlow2.0中，使用keras接口搭建神经网络时，需要进行网络的编译工作。使用的编译的方法是
compile。 - isinstance用来判断一个对象是否为Tensor
- 在TensorFlow2.0中，我们可以使用@tf.function装饰器实现Graph Execution，从而将模型转换为易于部署且高性能的TensorFlow图模型
- Tensorboard是TensorFlow官方提供的深度学习可视化工具
十、其他操作
- cv2.flip（）函数可以实现对图像的水平镜像操作。该函数的第一个参数是要操作的图像，第二个参数是镜像方向，如果为1则表示水平镜像。cv2.flip(im,1)
- from scipy.fftpack import fft
是正确的方式，它从scipy.fftpack模块中导入了fft函数。引入fft包，在Python的SciPy库中，用于计算快速傅里叶变换的函数是fft` - cv2.getRotationMatrix2D（ ）是用来计算旋转矩阵的函数
- mox.file.rename是重命名或移动更多文件
- 在使用SelectKBest进行特征选取时，使用卡方法对特征进行选择是chi2
- 中值模糊API是cv2.medianBlur(im, 5)
- UPL一般格式 https: //Endpoint/uri
- REST从资源的角度来观察整个网络，分布在各处的资源由URI 确定
- 计算旋转矩阵cv2.getRotationMatrix2D()