1. PingCode智库首页
  2. 百科

python 如何对数据进行归一化

Edit2 • • 百科

python 如何对数据进行归一化

Python对数据进行归一化的方法有多种，常见的有：Min-Max缩放、Z-score标准化、最大绝对值缩放、RobustScaler。本文将详细探讨这些方法，并通过实例展示如何在Python中实现它们。

一、Min-Max缩放

Min-Max缩放是一种线性变换方法，将数据缩放到一个指定的范围，通常是[0, 1]。它的公式是：

$$X' = frac{X – X_{min}}{X_{max} – X_{min}}$$

这种方法适用于数据的最小值和最大值已知且稳定的情况。

实现步骤：

  1. 计算原始数据的最小值和最大值
  2. 应用公式进行缩放

import numpy as np


def min_max_scaler(data):


    min_val = np.min(data)


    max_val = np.max(data)


    scaled_data = (data - min_val) / (max_val - min_val)


    return scaled_data


示例数据


data = np.array([1, 2, 3, 4, 5])


scaled_data = min_max_scaler(data)


print(scaled_data)

二、Z-score标准化

Z-score标准化（也称为标准分数标准化）是通过将数据减去均值并除以标准差来实现的。其公式为：

$$X' = frac{X – mu}{sigma}$$

这种方法适用于数据具有正态分布的情况。

实现步骤：

  1. 计算均值和标准差
  2. 应用公式进行标准化

def z_score_scaler(data):


    mean = np.mean(data)


    std = np.std(data)


    scaled_data = (data - mean) / std


    return scaled_data


示例数据


data = np.array([1, 2, 3, 4, 5])


scaled_data = z_score_scaler(data)


print(scaled_data)

三、最大绝对值缩放

最大绝对值缩放是将数据缩放到[-1, 1]范围内，其公式为：

$$X' = frac{X}{|X_{max}|}$$

这种方法适用于数据中有异常值的情况。

实现步骤：

  1. 计算数据的最大绝对值
  2. 应用公式进行缩放

def max_abs_scaler(data):


    max_abs_val = np.max(np.abs(data))


    scaled_data = data / max_abs_val


    return scaled_data


示例数据


data = np.array([1, 2, 3, 4, 5])


scaled_data = max_abs_scaler(data)


print(scaled_data)

四、RobustScaler

RobustScaler使用数据的中位数和四分位数进行缩放，减小异常值的影响。其公式为：

$$X' = frac{X – Q1}{Q3 – Q1}$$

这种方法适用于数据中存在异常值且不服从正态分布的情况。

实现步骤：

  1. 计算数据的Q1和Q3
  2. 应用公式进行缩放

def robust_scaler(data):


    q1 = np.percentile(data, 25)


    q3 = np.percentile(data, 75)


    scaled_data = (data - q1) / (q3 - q1)


    return scaled_data


示例数据


data = np.array([1, 2, 3, 4, 5])


scaled_data = robust_scaler(data)


print(scaled_data)

五、Pandas和Scikit-learn的实现

在实际应用中，使用Pandas和Scikit-learn库能够简化数据归一化过程。

使用Pandas进行归一化

Pandas可以方便地处理数据，并进行简单的归一化操作。

import pandas as pd


data = pd.DataFrame({


    'values': [1, 2, 3, 4, 5]


})


Min-Max缩放


data['min_max_scaled'] = (data['values'] - data['values'].min()) / (data['values'].max() - data['values'].min())


Z-score标准化


data['z_score_scaled'] = (data['values'] - data['values'].mean()) / data['values'].std()


print(data)

使用Scikit-learn进行归一化

Scikit-learn提供了多种预处理工具，可以简化数据归一化的过程。

from sklearn.preprocessing import MinMaxScaler, StandardScaler, MaxAbsScaler, RobustScaler


示例数据


data = np.array([[1], [2], [3], [4], [5]])


Min-Max缩放


min_max_scaler = MinMaxScaler()


data_min_max_scaled = min_max_scaler.fit_transform(data)


Z-score标准化


standard_scaler = StandardScaler()


data_standard_scaled = standard_scaler.fit_transform(data)


最大绝对值缩放


max_abs_scaler = MaxAbsScaler()


data_max_abs_scaled = max_abs_scaler.fit_transform(data)


RobustScaler


robust_scaler = RobustScaler()


data_robust_scaled = robust_scaler.fit_transform(data)


print("Min-Max Scaled:n", data_min_max_scaled)


print("Z-score Scaled:n", data_standard_scaled)


print("Max-Abs Scaled:n", data_max_abs_scaled)


print("Robust Scaled:n", data_robust_scaled)

六、归一化在机器学习中的应用

数据归一化在机器学习中有着广泛的应用，特别是在以下几个方面：

1. 提高模型训练速度

归一化可以使模型的收敛速度更快，尤其是在梯度下降算法中。通过将数据缩放到一个较小的范围内，可以使得权重更新的步长更为稳定。

2. 改善模型性能

归一化可以使得不同特征具有相同的量级，从而避免某些特征对模型的影响过大。这在距离度量的算法（如KNN、SVM）中特别重要。

3. 防止数值不稳定

在深度学习中，数据归一化可以防止数值的不稳定问题，如梯度爆炸或消失。

实例：归一化在KNN分类中的应用

from sklearn.datasets import load_iris


from sklearn.model_selection import train_test_split


from sklearn.neighbors import KNeighborsClassifier


加载数据集


iris = load_iris()


X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=42)


未归一化的KNN


knn = KNeighborsClassifier()


knn.fit(X_train, y_train)


print("未归一化的KNN准确率:", knn.score(X_test, y_test))


归一化的KNN


scaler = MinMaxScaler()


X_train_scaled = scaler.fit_transform(X_train)


X_test_scaled = scaler.transform(X_test)


knn.fit(X_train_scaled, y_train)


print("归一化的KNN准确率:", knn.score(X_test_scaled, y_test))

七、不同归一化方法的优缺点

Min-Max缩放

优点： 简单直观，计算速度快。

缺点： 对异常值敏感，当数据中存在异常值时，缩放效果可能不理想。

Z-score标准化

优点： 不受数据的最小值和最大值影响，对数据的分布要求较少。

缺点： 对于非正态分布的数据，效果可能不理想。

最大绝对值缩放

优点： 简单，对异常值的影响较小。

缺点： 仅适用于数据的最大绝对值已知且稳定的情况。

RobustScaler

优点： 抗异常值能力强，适用于分布不均的数据。

缺点： 计算复杂度较高，可能对某些数据不适用。

八、总结

数据归一化是数据预处理中的重要步骤，通过归一化可以提高模型的训练速度、改善模型性能、避免数值不稳定等问题。Python提供了多种实现数据归一化的方法，从基础的NumPy实现到高级的Pandas和Scikit-learn库，都能够方便地进行数据归一化操作。在实际应用中，应根据数据的特性选择合适的归一化方法，以达到最佳的效果。

推荐使用研发项目管理系统PingCode和通用项目管理软件Worktile进行项目管理，确保数据处理和模型训练过程中的高效和有序。

参考文献

  1. 《数据挖掘导论》 – 作者: Pang-Ning Tan, Michael Steinbach, Vipin Kumar
  2. 《Python数据科学手册》 – 作者: Jake VanderPlas
  3. Scikit-learn官方文档

相关问答FAQs：

1. 什么是数据归一化？
数据归一化是指将数据按照一定的比例缩放，使其落入特定的范围内。这样做可以消除数据间的量纲影响，使得不同指标之间具有可比性。

2. 为什么需要对数据进行归一化？
数据归一化可以帮助我们更好地处理不同量级的数据。在机器学习和数据分析中，很多算法对数据的尺度敏感，如果数据没有经过归一化，可能导致模型训练的不稳定或者结果不准确。

3. 在Python中如何对数据进行归一化？
在Python中，可以使用各种方法对数据进行归一化。常用的方法包括最大最小值归一化、Z-score标准化和小数定标法。最大最小值归一化将数据缩放到0和1之间，Z-score标准化通过减去均值然后除以标准差来使数据的均值为0，标准差为1，而小数定标法则通过除以数据的最大绝对值来进行缩放。

4. 如何使用最大最小值归一化对数据进行处理？
最大最小值归一化是常用的数据归一化方法之一。可以使用如下代码实现最大最小值归一化：

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()  # 创建归一化的对象
scaled_data = scaler.fit_transform(data)  # 对数据进行归一化处理

这里的data是一个数组或矩阵，scaled_data则是经过归一化后的数据。

5. 如何使用Z-score标准化对数据进行处理？
Z-score标准化是另一种常用的数据归一化方法。可以使用如下代码实现Z-score标准化：

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()  # 创建标准化的对象
scaled_data = scaler.fit_transform(data)  # 对数据进行标准化处理

这里的data是一个数组或矩阵，scaled_data则是经过标准化后的数据。

6. 如何使用小数定标法对数据进行处理？
小数定标法是一种将数据除以某个固定的值来进行缩放的方法。可以使用如下代码实现小数定标法：

scaled_data = data / 10**np.ceil(np.log10(np.abs(data.max())))  # 对数据进行小数定标缩放

这里的data是一个数组或矩阵，scaled_data则是经过缩放后的数据。

文章包含AI辅助创作，作者：Edit2，如若转载，请注明出处：https://docs.pingcode.com/baike/1254271

赞 (0)
Edit2Edit2
免费注册
电话联系

4008001024

微信咨询
微信咨询
返回顶部