python如何编写knn函数

在Python中编写KNN（K-Nearest Neighbors，K最近邻）函数的核心在于计算样本之间的距离、选择最近的K个邻居、对邻居进行投票或加权平均。其中，计算距离的方法通常有欧几里得距离、曼哈顿距离等。以欧几里得距离为例，我们可以详细探讨如何实现这一过程。

首先，我们需要定义一个函数来计算两个数据点之间的欧几里得距离。欧几里得距离是最常用的距离度量方式之一，它通过计算两个点在多维空间中的直线距离来确定它们的相似性。要计算两个点之间的欧几里得距离，我们只需对它们每个维度的差值进行平方和，然后取平方根。

接下来，我们需要对新样本和训练数据集中的每个样本计算距离，并找到距离最小的K个样本。这可以通过排序距离来实现。最后，我们需要根据这K个最近的样本进行分类决策，通常是通过投票机制确定新样本的类别。

下面详细介绍如何在Python中实现KNN函数。

一、导入所需库

在实现KNN算法之前，我们需要导入一些必要的Python库。这些库包括NumPy用于数组和矩阵操作，pandas用于数据处理，以及matplotlib用于可视化。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from collections import Counter

二、定义距离计算函数

实现KNN算法的第一步是定义一个函数来计算两个数据点之间的欧几里得距离。这是KNN的核心步骤之一。

def euclidean_distance(point1, point2):
    return np.sqrt(np.sum((point1 - point2)  2))

这个函数接收两个参数，point1和point2，它们都是多维数据点。函数返回两个点之间的欧几里得距离。

三、实现KNN算法

接下来，我们定义一个函数来实现KNN算法。该函数将接收训练数据、测试数据、K值，以及一个可选的距离函数作为参数。

def knn(train_data, train_labels, test_data, k, distance_func=euclidean_distance):
    predictions = []
    for test_point in test_data:
        distances = []
        for i, train_point in enumerate(train_data):
            distance = distance_func(test_point, train_point)
            distances.append((distance, train_labels[i]))
        # Sort distances and get the labels of the k nearest neighbors
        distances.sort(key=lambda x: x[0])
        k_nearest_labels = [label for _, label in distances[:k]]
        # Majority vote
        most_common = Counter(k_nearest_labels).most_common(1)
        predictions.append(most_common[0][0])
    return predictions

在这个函数中，我们首先初始化一个空列表predictions来存储预测结果。然后，对于测试数据中的每一个点，我们计算它到训练数据集中每个点的距离，并将这些距离及其对应的标签存储在一个列表中。接下来，我们对这些距离进行排序，并选择距离最小的K个点。最后，我们通过统计这K个点中出现频率最高的标签来进行分类。

四、数据准备

在使用KNN算法之前，我们需要准备一些数据。我们可以使用pandas库来读取数据并将其分为训练集和测试集。

from sklearn.model_selection import train_test_split
假设我们有一个DataFrame df，其中包含特征列和目标列
X是特征，y是目标
X = df.drop('target', axis=1).values
y = df['target'].values
分割数据集，80%用于训练，20%用于测试
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

五、测试KNN算法

准备好数据后，我们可以调用之前定义的KNN函数来进行预测。

k = 5
predictions = knn(X_train, y_train, X_test, k)
计算准确率
accuracy = np.sum(predictions == y_test) / len(y_test)
print(f"Accuracy: {accuracy * 100:.2f}%")

六、可视化结果

为了更好地理解和展示KNN算法的效果，我们可以使用matplotlib库来可视化数据和分类边界。

plt.figure(figsize=(10, 6))
plt.scatter(X[:, 0], X[:, 1], c=y, cmap='viridis', edgecolor='k', s=50)
plt.title('Data points and their true labels')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.show()

七、调优K值

选择合适的K值是实现KNN算法的关键之一。K值过小可能导致过拟合，而过大可能导致欠拟合。我们可以通过交叉验证来选择合适的K值。

from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
使用sklearn的KNeighborsClassifier进行交叉验证
k_range = range(1, 31)
k_scores = []
for k in k_range:
    knn_clf = KNeighborsClassifier(n_neighbors=k)
    scores = cross_val_score(knn_clf, X, y, cv=10, scoring='accuracy')
    k_scores.append(scores.mean())
plt.plot(k_range, k_scores)
plt.xlabel('Value of K for KNN')
plt.ylabel('Cross-Validated Accuracy')
plt.show()

八、优化和扩展

在KNN算法的基本实现中，我们使用了欧几里得距离作为距离度量标准。事实上，根据具体问题，我们可以选择其他距离度量方法，如曼哈顿距离、切比雪夫距离等。此外，我们可以通过引入加权机制来优化KNN算法，即根据距离远近对K个邻居进行加权投票，距离越近的邻居权重越高。

def weighted_knn(train_data, train_labels, test_data, k, distance_func=euclidean_distance):
    predictions = []
    for test_point in test_data:
        distances = []
        for i, train_point in enumerate(train_data):
            distance = distance_func(test_point, train_point)
            distances.append((distance, train_labels[i]))
        # Sort distances and get the labels of the k nearest neighbors
        distances.sort(key=lambda x: x[0])
        k_nearest = distances[:k]
        # Weighted vote
        label_weights = {}
        for distance, label in k_nearest:
            weight = 1 / (distance + 1e-5)  # Avoid division by zero
            if label in label_weights:
                label_weights[label] += weight
            else:
                label_weights[label] = weight
        # Get the label with the highest weight
        predicted_label = max(label_weights, key=label_weights.get)
        predictions.append(predicted_label)
    return predictions