数据信号处理方法三板斧
信号处理，一般是从拿到的传感器实时数据开始，此时的数据不仅具有因环境影响导致的冲击分量，还有因系统与传感器设备本身导致的系统误差与随机测量误差，在一些特定场景下，还可能存在趋势误差。
根据数据特征与常用的有效方法，整理了适用大部分场景下的三段式处理方法。先给出4种主要误差类型的定义：
- 冲击分量：由环境瞬时干扰导致的短时大幅偏离（如电磁干扰造成的脉冲）
- 系统误差：传感器固有偏差（如温漂、零点漂移等可重复性误差）
- 随机误差：不可预测的白噪声（如ADC量化噪声）
- 趋势误差：随时间累积的缓慢偏移（如电池供电压力传感器的电压衰减）
再给出几种分布特性的定义：
- 高斯分布：一种连续概率分布，其概率密度函数呈现对称的钟形曲线。在该分布中，数据密集集中在均值附近，远离均值的数据点出现概率逐渐降低，且分布形态完全由均值和标准差决定。
- 非高斯分布：非高斯分布泛指所有不满足高斯分布特性的概率分布
- 线性特征：输入输出关系可用直线描述，响应特性不随信号幅度改变，满足叠加、齐次、无畸变
- 非线性特征： 输入输出关系不满足叠加性和齐次性响应曲线，存在明显弯曲或转折
一、异常值处理→离群点
通过设定经验阈值或动态统计范围（如Z-score、IQR）剔除明显异常点。
场景分析
| 典型适用场景 | 不适用场景 | 原因 |
|---|---|---|
| 工业压力传感器超压脉冲 | 高频振动信号 | 会误判正常振动峰值 |
| ECG信号中的运动伪迹 | 金融市场突发涨跌数据 | 极端值可能含真实信息 |
二、概率分布建模+时序预测+最优估计 → 系统误差
概率分布建模
假设数据符合高斯分布或泊松分布，利用贝叶斯滤波（如卡尔曼滤波）修正误差。时序预测+最优估计
预测：ARIMA / LSTM预测趋势
最优估计：最小二乘 / kalman融合滤波
| 典型适用场景 | 不适用场景 | 原因 |
|---|---|---|
| 无人机IMU零偏校准 | 行人运动轨迹预测 | 非高斯运动模型 |
| 血糖仪的温度漂移补偿 | 化学反应突变过程监测 | 非线性模型失效 |
| 工业机器人重复定位误差 | 股票价格趋势预测 | 市场无确定性规律 |
三、平滑细节→随机误差
通过卷积运算或滑动窗口平均抑制高频噪声，处理信号细节，比如毛刺
| 典型适用场景 | 不适用场景 | 原因 |
|---|---|---|
| 加速度计信号平滑 | 边缘检测图像处理 | 会模糊重要边缘特征 |
| 温度传感器读数降噪 | 心电R波检测 | 会降低关键峰值陡度 |
| 工业流量计信号处理 | 机械故障冲击信号分析 | 会滤除故障特征频率 |
总结
针对数据信号处理，首先要先选择合适的处理方法，在实际应用中，通常三板斧都要上，分阶段处理使得信号表现出“理想”特性。先通过异常值处理剔除冲击分量，再利用时序预测+最优估计修正系统误差（如卡尔曼滤波），最后通过平滑技术抑制随机噪声。三个步骤需根据数据特征（高斯/非高斯、线性/非线性）灵活组合。最终目标是从噪声中还原真实物理量，而非单纯追求平滑与美观。