python下如何对数据进行去躁

在Python中对数据进行去噪的方法包括：使用滤波器、应用移动平均法、利用小波变换、采用自适应滤波器、使用傅里叶变换。 其中，滤波器是一种常用的方法，它可以通过选择性地消除特定频率的噪声来净化数据。

滤波器可以分为低通滤波器、高通滤波器、带通滤波器和带阻滤波器等。低通滤波器允许低频信号通过并阻止高频噪声，使信号更加平滑。高通滤波器则相反，用于去除低频噪声。带通滤波器允许特定频率范围内的信号通过，而带阻滤波器则用于阻止特定频率范围内的信号。

一、使用滤波器去噪

滤波器是信号处理中的重要工具，可以有效地去除噪声。在Python中，我们可以使用SciPy库中的滤波功能来实现这一点。

1、低通滤波器

低通滤波器用于允许低频信号通过，同时阻止高频噪声。它在去除高频噪声的同时保留了信号的主要特征。

import numpy as np
from scipy.signal import butter, filtfilt
生成一个示例信号
t = np.linspace(0, 1, 500, False)  # 1秒钟内的采样
signal = np.sin(2 * np.pi * 7 * t) + np.random.normal(0, 0.5, t.shape)
设计一个低通滤波器
def butter_lowpass(cutoff, fs, order=5):
    nyq = 0.5 * fs
    normal_cutoff = cutoff / nyq
    b, a = butter(order, normal_cutoff, btype='low', analog=False)
    return b, a
def lowpass_filter(data, cutoff, fs, order=5):
    b, a = butter_lowpass(cutoff, fs, order=order)
    y = filtfilt(b, a, data)
    return y
应用低通滤波器
cutoff = 3.5  # 截止频率
fs = 500  # 采样频率
filtered_signal = lowpass_filter(signal, cutoff, fs)
绘制原始信号和滤波后的信号
import matplotlib.pyplot as plt
plt.plot(t, signal, label='Noisy signal')
plt.plot(t, filtered_signal, label='Filtered signal', linewidth=2)
plt.legend()
plt.show()

2、高通滤波器

高通滤波器用于去除低频噪声，保留高频信号。它适用于那些高频成分占主要地位的信号。

import numpy as np
from scipy.signal import butter, filtfilt
设计一个高通滤波器
def butter_highpass(cutoff, fs, order=5):
    nyq = 0.5 * fs
    normal_cutoff = cutoff / nyq
    b, a = butter(order, normal_cutoff, btype='high', analog=False)
    return b, a
def highpass_filter(data, cutoff, fs, order=5):
    b, a = butter_highpass(cutoff, fs, order=order)
    y = filtfilt(b, a, data)
    return y
应用高通滤波器
cutoff = 3.5  # 截止频率
fs = 500  # 采样频率
filtered_signal = highpass_filter(signal, cutoff, fs)
绘制原始信号和滤波后的信号
plt.plot(t, signal, label='Noisy signal')
plt.plot(t, filtered_signal, label='Filtered signal', linewidth=2)
plt.legend()
plt.show()

二、移动平均法去噪

移动平均法是一种简单而有效的去噪方法，通过对数据进行局部平均来平滑信号。移动平均法的基本思想是用一组数据点的平均值来代替该组数据点的中心值，从而减少随机噪声的影响。

1、简单移动平均法

简单移动平均法是一种最基本的移动平均方法，它通过对一段数据取平均值来平滑数据。可以使用pandas库中的rolling方法来实现简单移动平均法。

import pandas as pd
生成一个示例信号
signal = pd.Series(signal)
应用简单移动平均法
window_size = 5  # 窗口大小
moving_average = signal.rolling(window=window_size).mean()
绘制原始信号和移动平均后的信号
plt.plot(t, signal, label='Noisy signal')
plt.plot(t, moving_average, label='Moving Average', linewidth=2)
plt.legend()
plt.show()

2、加权移动平均法

加权移动平均法在计算平均值时，对不同的数据点赋予不同的权重，通常是最近的数据点权重较高，较远的数据点权重较低。这种方法能够更好地保留信号的趋势。

# 应用加权移动平均法
weights = np.arange(1, window_size + 1)
weighted_moving_average = signal.rolling(window=window_size).apply(lambda x: np.dot(x, weights) / weights.sum(), raw=True)
绘制原始信号和加权移动平均后的信号
plt.plot(t, signal, label='Noisy signal')
plt.plot(t, weighted_moving_average, label='Weighted Moving Average', linewidth=2)
plt.legend()
plt.show()

三、使用小波变换去噪

小波变换是一种适用于非平稳信号的去噪方法，它可以通过分解信号来提取不同尺度的信息。在Python中，我们可以使用PyWavelets库来实现小波变换去噪。

import pywt
生成一个示例信号
signal = np.sin(2 * np.pi * 7 * t) + np.random.normal(0, 0.5, t.shape)
应用小波变换去噪
def wavelet_denoise(data, wavelet='db1', level=1):
    coeffs = pywt.wavedec(data, wavelet, level=level)
    sigma = np.median(np.abs(coeffs[-1])) / 0.6745
    uthresh = sigma * np.sqrt(2 * np.log(len(data)))
    coeffs = list(map(lambda x: pywt.threshold(x, uthresh, mode='soft'), coeffs))
    return pywt.waverec(coeffs, wavelet)
去噪
denoised_signal = wavelet_denoise(signal, wavelet='db1', level=2)
绘制原始信号和去噪后的信号
plt.plot(t, signal, label='Noisy signal')
plt.plot(t, denoised_signal, label='Denoised signal', linewidth=2)
plt.legend()
plt.show()

四、自适应滤波器去噪

自适应滤波器是一种根据输入信号的变化自动调整滤波参数的滤波器，常用于处理非平稳信号。在Python中，我们可以使用NLMS算法来实现自适应滤波器。

import numpy as np
生成一个示例信号
signal = np.sin(2 * np.pi * 7 * t) + np.random.normal(0, 0.5, t.shape)
应用NLMS算法
def nlms_filter(x, d, mu=0.01, M=32):
    N = len(x)
    w = np.zeros(M)
    y = np.zeros(N)
    e = np.zeros(N)
    for n in range(M, N):
        x_n = x[n-M:n][::-1]
        y[n] = np.dot(w, x_n)
        e[n] = d[n] - y[n]
        w = w + mu * e[n] * x_n / (np.dot(x_n, x_n) + 1e-5)
    return y, e
去噪
filtered_signal, error = nlms_filter(signal, signal)
绘制原始信号和去噪后的信号
plt.plot(t, signal, label='Noisy signal')
plt.plot(t, filtered_signal, label='Filtered signal', linewidth=2)
plt.legend()
plt.show()

五、使用傅里叶变换去噪

傅里叶变换用于将信号从时域转换到频域，通过分析信号的频率成分来去除噪声。在Python中，我们可以使用NumPy库中的FFT函数来实现傅里叶变换去噪。

import numpy as np
生成一个示例信号
signal = np.sin(2 * np.pi * 7 * t) + np.random.normal(0, 0.5, t.shape)
应用傅里叶变换去噪
def fft_denoise(data, threshold=50):
    fft_coeffs = np.fft.fft(data)
    fft_coeffs[np.abs(fft_coeffs) < threshold] = 0
    return np.fft.ifft(fft_coeffs)
去噪
denoised_signal = fft_denoise(signal)
绘制原始信号和去噪后的信号
plt.plot(t, signal, label='Noisy signal')
plt.plot(t, denoised_signal, label='Denoised signal', linewidth=2)
plt.legend()
plt.show()