python如何检验正态分布

Python可以通过多种方法来检验数据是否服从正态分布，包括可视化方法、统计检验和计算偏度与峰度。常用的方法有Shapiro-Wilk检验、Kolmogorov-Smirnov检验、Q-Q图等。通过Shapiro-Wilk检验，我们可以直接获得一个统计量和p值，如果p值小于我们设定的显著性水平（通常为0.05），则拒绝数据服从正态分布的假设。接下来，我们将详细介绍这些方法以及如何在Python中实现它们。

一、可视化方法

可视化方法是检验数据正态性最直观的方法之一。通过绘制直方图和Q-Q图，我们可以初步判断数据是否符合正态分布。

直方图

直方图可以帮助我们观察数据的分布形状。对于正态分布的数据，其直方图应该呈现一个对称的钟形曲线。我们可以使用Matplotlib和Seaborn库来绘制直方图。

import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
生成正态分布数据
data = np.random.normal(loc=0, scale=1, size=1000)
绘制直方图
sns.histplot(data, bins=30, kde=True)
plt.title('Histogram of Data')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()

Q-Q图

Q-Q图（Quantile-Quantile Plot）用于比较样本分布与理论分布（通常是正态分布）的差异。如果数据服从正态分布，Q-Q图中的点应该接近于一条直线。

import scipy.stats as stats
绘制Q-Q图
stats.probplot(data, dist="norm", plot=plt)
plt.title('Q-Q Plot')
plt.show()

二、统计检验

统计检验为数据的正态性提供了定量的评估。常用的正态性检验包括Shapiro-Wilk检验和Kolmogorov-Smirnov检验。

Shapiro-Wilk检验

Shapiro-Wilk检验是用于检测正态分布的最常用方法之一。该检验计算一个统计量W及其相应的p值。若p值小于显著性水平，则拒绝数据服从正态分布的假设。

from scipy.stats import shapiro
执行Shapiro-Wilk检验
stat, p = shapiro(data)
print('Statistics=%.3f, p=%.3f' % (stat, p))
判断结果
alpha = 0.05
if p > alpha:
    print('Sample looks Gaussian (fail to reject H0)')
else:
    print('Sample does not look Gaussian (reject H0)')

Kolmogorov-Smirnov检验

Kolmogorov-Smirnov检验是另一种用于测试数据分布的非参数方法。它通过计算样本累积分布与理论正态分布之间的最大差异来判断数据是否服从正态分布。

from scipy.stats import kstest
执行Kolmogorov-Smirnov检验
stat, p = kstest(data, 'norm')
print('Statistics=%.3f, p=%.3f' % (stat, p))
判断结果
if p > alpha:
    print('Sample looks Gaussian (fail to reject H0)')
else:
    print('Sample does not look Gaussian (reject H0)')

三、计算偏度与峰度

偏度和峰度是描述数据分布形状的两个重要指标。偏度反映数据分布的对称性，而峰度反映数据分布的尖峰程度。

偏度

偏度（Skewness）度量分布的对称性。正态分布的偏度为0，偏度不为0表示分布不对称。我们可以使用Scipy库中的skew函数来计算数据的偏度。

from scipy.stats import skew
计算偏度
data_skewness = skew(data)
print('Skewness: %.3f' % data_skewness)

峰度

峰度（Kurtosis）度量分布的尖峰程度。正态分布的峰度为3，较大的峰度表示分布更尖锐。我们可以使用Scipy库中的kurtosis函数来计算数据的峰度。

from scipy.stats import kurtosis
计算峰度
data_kurtosis = kurtosis(data)
print('Kurtosis: %.3f' % data_kurtosis)

四、Python实现的综合应用

在实际应用中，我们通常结合使用可视化方法、统计检验和偏度与峰度的计算来全面评估数据的正态性。

数据生成与预处理

在开始正态性检验之前，我们通常需要对数据进行预处理。这可能包括去除异常值、归一化或标准化。

# 假设我们有一个包含异常值的数据集
data_with_outliers = np.append(data, [10, 15, -10, -15])
去除异常值
data_cleaned = data_with_outliers[np.abs(data_with_outliers - np.mean(data_with_outliers)) < 3 * np.std(data_with_outliers)]

结合使用多种方法

我们可以结合使用直方图、Q-Q图、Shapiro-Wilk检验和计算偏度与峰度等多种方法来判断数据是否服从正态分布。

# 绘制清理后数据的直方图和Q-Q图
sns.histplot(data_cleaned, bins=30, kde=True)
plt.title('Histogram of Cleaned Data')
plt.show()
stats.probplot(data_cleaned, dist="norm", plot=plt)
plt.title('Q-Q Plot of Cleaned Data')
plt.show()
进行Shapiro-Wilk检验
stat, p = shapiro(data_cleaned)
print('Shapiro-Wilk Test: Statistics=%.3f, p=%.3f' % (stat, p))
计算偏度和峰度
data_skewness = skew(data_cleaned)
data_kurtosis = kurtosis(data_cleaned)
print('Skewness: %.3f' % data_skewness)
print('Kurtosis: %.3f' % data_kurtosis)