数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。
以下是两种常用的归一化方法:
一、min-max标准化(Min-Max Normalization)
也称离差标准化,是对原始数据的线性变换,使结果值映射到[0-1]之间。转换函数如下:
在这里插入图片描述
其中max为样本数据的最大值,min为样本数据的最小值。
优点:保留源数据存在的关系,消除取值范围最简单的方法;
缺点:极易受个别离群值影响,如果数据集中某个数值很大,其他各值归一化后会接近0;此外,如果遇到超出[min,max]的值,会出现错误。
二、Z-score标准化方法
这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1,转化函数为:
在这里插入图片描述
其中μ为所有样本数据的均值,σ为所有样本数据的标准差。该方法被广泛使用,但均值和标准差也一样易受离群值影响,因此需要进行修正,比如:可用中位数取代均值进行上述计算。
三、小数定标规范化
该方法是通过移动特征数据的小数位数,将其转换到[-1,1]之间,移动的小数位由特征值绝对值的最大值决定,公式如下:
在这里插入图片描述
参考内容所在网址:
https://www.cnblogs.com/chaosimple/p/3227271.html
https://blog.csdn.net/lyq_12/article/details/81349525

Logo

学大模型,用大模型上飞桨星河社区!每天8点V100G算力免费领!免费领取ERNIE 4.0 100w Token >>>

更多推荐