在 Python 中编写 K-最近邻（K-Nearest Neighbors，简称 KNN）函数，可以通过以下步骤进行：导入所需库、定义距离度量函数、定义 KNN 函数、对数据进行标准化处理、选择合适的 K 值和优化模型。
首先，导入必要的库：在编写 KNN 函数之前，我们需要导入一些 Python 库，这些库包括 NumPy、pandas 和 Scikit-learn 等。这些库提供了丰富的数学和数据处理功能，可以帮助我们更容易地实现 KNN 算法。
其次，定义距离度量函数：距离度量是 KNN 算法的核心，它决定了两个样本之间的相似度。常用的距离度量方法包括欧氏距离、曼哈顿距离和闵可夫斯基距离。我们可以根据具体情况选择合适的距离度量方法，并在 KNN 函数中实现。
接下来，定义 KNN 函数：在 KNN 函数中，我们需要遍历所有训练样本，计算每个样本与测试样本之间的距离，并选择距离最小的 K 个样本。然后，根据这 K 个样本的类别，确定测试样本的类别。
最后，对数据进行标准化处理：在实际应用中，数据的不同特征可能具有不同的量纲，这会影响距离的计算结果。因此，我们需要对数据进行标准化处理，使每个特征的值都在同一个范围内。常用的标准化方法包括 Z-Score 标准化和 Min-Max 标准化。
以下是一个完整的 Python 实现 KNN 算法的示例：
import numpy as np
import pandas as pd
from collections import Counter
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score
定义距离度量函数（欧氏距离）
def euclidean_distance(x1, x2):
return np.sqrt(np.sum((x1 - x2) 2))
定义 KNN 函数
def knn(X_train, y_train, X_test, k=3):
y_pred = []
for test_sample in X_test:
distances = []
for i, train_sample in enumerate(X_train):
distance = euclidean_distance(test_sample, train_sample)
distances.append((distance, y_train[i]))
distances.sort(key=lambda x: x[0])
k_nearest_neighbors = [label for _, label in distances[:k]]
most_common = Counter(k_nearest_neighbors).most_common(1)
y_pred.append(most_common[0][0])
return np.array(y_pred)
加载数据集
data = pd.read_csv('your_dataset.csv')
X = data.drop('target', axis=1).values
y = data['target'].values
划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
对数据进行标准化处理
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
选择合适的 K 值并优化模型
k = 3
y_pred = knn(X_train, y_train, X_test, k)
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy * 100:.2f}%')
一、导入必要库
在编写 KNN 函数之前，我们需要导入一些 Python 库，这些库包括 NumPy、pandas 和 Scikit-learn 等。这些库提供了丰富的数学和数据处理功能，可以帮助我们更容易地实现 KNN 算法。
import numpy as np
import pandas as pd
from collections import Counter
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score
二、定义距离度量函数
距离度量是 KNN 算法的核心，它决定了两个样本之间的相似度。常用的距离度量方法包括欧氏距离、曼哈顿距离和闵可夫斯基距离。我们可以根据具体情况选择合适的距离度量方法，并在 KNN 函数中实现。
# 定义距离度量函数（欧氏距离）
def euclidean_distance(x1, x2):
return np.sqrt(np.sum((x1 - x2) 2))
三、定义 KNN 函数
在 KNN 函数中，我们需要遍历所有训练样本，计算每个样本与测试样本之间的距离，并选择距离最小的 K 个样本。然后，根据这 K 个样本的类别，确定测试样本的类别。
# 定义 KNN 函数
def knn(X_train, y_train, X_test, k=3):
y_pred = []
for test_sample in X_test:
distances = []
for i, train_sample in enumerate(X_train):
distance = euclidean_distance(test_sample, train_sample)
distances.append((distance, y_train[i]))
distances.sort(key=lambda x: x[0])
k_nearest_neighbors = [label for _, label in distances[:k]]
most_common = Counter(k_nearest_neighbors).most_common(1)
y_pred.append(most_common[0][0])
return np.array(y_pred)
四、加载数据集
在实际应用中，我们需要加载数据集。这里我们假设数据集是一个 CSV 文件，并使用 pandas 库来加载数据。
# 加载数据集
data = pd.read_csv('your_dataset.csv')
X = data.drop('target', axis=1).values
y = data['target'].values
五、划分训练集和测试集
为了评估模型的性能，我们需要将数据集划分为训练集和测试集。这里我们使用 Scikit-learn 提供的 train_test_split 函数来完成这一步。
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
六、对数据进行标准化处理
在实际应用中，数据的不同特征可能具有不同的量纲，这会影响距离的计算结果。因此，我们需要对数据进行标准化处理，使每个特征的值都在同一个范围内。常用的标准化方法包括 Z-Score 标准化和 Min-Max 标准化。
# 对数据进行标准化处理
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
七、选择合适的 K 值并优化模型
选择合适的 K 值是 KNN 算法的一个重要步骤。我们可以通过交叉验证等方法来选择最优的 K 值。这里我们假设 K 值为 3，并计算模型的准确性。
# 选择合适的 K 值并优化模型
k = 3
y_pred = knn(X_train, y_train, X_test, k)
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy * 100:.2f}%')
八、总结与优化
在实际应用中，我们可以进一步优化 KNN 算法。例如，可以通过交叉验证选择最优的 K 值，可以使用不同的距离度量方法，可以尝试对数据进行降维处理等。此外，对于大规模数据集，KNN 算法的计算复杂度较高，我们可以通过 KD 树、Ball 树等数据结构来加速距离计算。
通过以上步骤，我们可以在 Python 中实现一个简单的 KNN 算法。希望这篇文章对你有所帮助。如果你有任何问题或建议，欢迎在评论区留言。
相关问答FAQs：
如何在Python中实现KNN算法？
KNN（K-最近邻算法）是一种常用的分类算法，其核心思想是通过距离度量来识别数据点的类别。要在Python中实现KNN算法，您可以使用NumPy库来处理数组和数学运算，结合scikit-learn库来简化机器学习任务。基本步骤包括：计算样本间的距离，选择距离最近的K个邻居，进行投票或者平均来确定类别。
KNN算法中选择K值的重要性是什么？
选择合适的K值对KNN算法的性能至关重要。K值过小可能导致模型对噪声敏感，容易出现过拟合；而K值过大则可能导致模型过于平滑，忽略了重要的局部信息。通常，可以通过交叉验证来选择最佳的K值，以确保模型的准确性和泛化能力。
在使用KNN算法时如何处理缺失值？
缺失值的处理在KNN算法中非常重要，因为距离计算需要完整的数据。常见的处理方法包括：使用均值、中位数或众数填补缺失值，或者删除缺失值所在的样本。同时，您也可以考虑利用KNN本身来填补缺失值，即使用其他邻近样本的值来替代缺失值，这样可以保持数据的完整性。
