1 缺失值、异常值的检测和处理

1.1 缺失值处理

若对单个数据求均值（mean），如果数据中含有缺失值，MATLAB 会返回一个空值（NaN),此时即表示数据中存在缺失值：

（1）寻找缺失值（ismisssing/isnan)

TF=ismissing(A)

A为输入数组，可以是向量、矩阵或多维数组等

TF为输出的逻辑数组，指示数组或表中有哪些元素包含缺失值。TF 的大小与A的大小相同。”1“代表缺失值，‘0’则不是。

ismissing的用法和isnan相同
% ismissing 寻找缺失值案例
  %随机生成6*4数据矩阵
  A=randi(10,6,4);
  %替换一些值为缺失值
  A(3:4,2)=nan
  %输出数据矩阵
  disp(A)
  %寻找缺失值，1代表缺失值所在的位置
  ismissing(A)

对于缺失值处理，我们要分情况讨论。

如果某个变量或某个样本缺失了70%以上的数据，那么此时对数据进行填补的话会引入更多的噪声，反而会降低模型的性能，故此时一般直接将该变量或样本删除。

MATLAB 中删除缺失值的函数（另外补充）

如果缺失的不多，我们可以考虑对缺失值进行填补。

以下重点介绍MATLAB中删除和填补缺失值的两个函数：

（2）删除缺失值（rmmissing)

[R ,TF]=rimissing(A,dim)

A为输入数组，可以是向量、矩阵或多维数组等

dim:运算维度，默认为1，删除缺失值所在行，设为2则删除缺失值所在列

R为删除缺失值条目后的数据

TF为已删除条目的指示符。

rimissing 这个函数比较简单粗暴，只要把缺失值所在行善良，谨慎使用。

（3）填补缺失值

方法1：常数填充，如用常数1填充

F=fillmisssing(A,'constant',1)

方法2：F=fillmissing(A,method)

method 是一个字符型参数，指填充缺失值的方法,MATLAB提供以下几种方法：

方法3：F = fillmissing(A,movmethod,window)

方法（movmethod）说明

fillmissing(x,'movmean',7)

 window 表示窗口长度，必须是一个正整数。如果window是正整数标量，则窗口以当前元素为中心并且包含window-1各相邻元素。如果window是偶数，则窗口以当前元素和上一个元素为中心。

插补可用方法	方法描述
均值、中位数、众数插补	根据属性值的类型，用该属性取值的平均值、中位数、众数进行插补。
使用固定值	将缺失的属性值用一个常量替换。如广州的一个工厂普通外来务工人员的基本工资属性的空缺值可以用工资标准来填补，该方法就是使用固定值。
最近临插补	在记录中找到与缺失样本最接近的样本的该属性值的插补
回归方法	对带有缺失值的变量，根据已有数据和与其有关的其他变量（因变量）的数据建立拟合模型来预测缺失值的属性值。
插值法	插值法利用已知点建立合适的插值函数,未知值由对应点求出的函数值近似代替。

  

其中，插值法有Hermite 插值、分段插值、样条插值法，而最主要的有拉格朗日

1.2 异常值处理