传统机器学习/统计学习方法有哪些

机器学习和统计学习的传统方法主要包括支持向量机（SVM）、决策树、朴素贝叶斯分类器、k近邻算法（k-NN）、线性回归、逻辑回归、集成学习等。支持向量机（SVM）是一种强大的分类器，它在数据特征空间中寻找最优的分割超平面，以此实现二分类或多分类。SVM特别适合于小样本训练数据，它依赖于边际理论和核函数技术，可以有效处理高维数据集。

一、支持向量机（SVM）

支持向量机（SVM）是一种典型的基于间隔最大化原理的模型。它旨在寻找一个超平面，以使得不同类别的数据在该超平面两侧，并且各自类别中与超平面最接近的点到超平面的距离（即间隔）最大。为了解决非线性可分问题，SVM使用核技巧将数据映射到高维空间中，从而在新的空间找到线性分割超平面。

线性SVM与非线性SVM

线性SVM适用于数据线性可分的情况，即存在一个线性超平面能够正确分类所有样本点。而对于线性不可分的情况，非线性SVM采用核函数映射手段转化问题，通过选择合适的核函数，可以在高维空间实现数据的线性可分。
核技巧与SVM正则化

核技巧是SVM处理非线性分类问题的关键，常用的核函数包括多项式核、径向基函数核（RBF）等。核函数通过隐式地在高维空间中计算点积，从而避免了直接在高维空间的高昂计算成本。另外，SVM还包含正则化参数，该参数用于平衡间隔最大化和训练误差，以此控制模型的泛化能力。

二、决策树

决策树是一种树形结构的模型，它通过递归方式将数据集分割为越来越纯的子集。在构建决策树时，每个节点代表一个属性的测试，每个分支代表一个测试输出，而每个叶节点则代表一种分类结果。

构建决策树的方式

常见的决策树算法包括ID3、C4.5和CART。这些算法在选择分割属性时采用不同的标准，比如信息增益、增益率和基尼指数。
剪枝策略

为了避免过拟合，决策树需要进行剪枝处理。剪枝可以是预剪枝，即在树完全生成前就停止树的增长；也可以是后剪枝，即先让树完全生长，然后删除对泛化性能没有帮助的子树。

三、朴素贝叶斯分类器

朴素贝叶斯分类器是基于贝叶斯定理和特征条件独立假设的分类方法。它假设各特征间相互独立，尽管这一假设在实际中往往不成立，但朴素贝叶斯分类器在实践中表现出了良好的性能。

贝叶斯定理的应用

在分类任务中，朴素贝叶斯利用贝叶斯定理计算后验概率，并选择具有最高后验概率的类别作为预测输出。
特征条件独立性

朴素贝叶斯算法需要计算特征给定类别的条件概率，由于特征条件独立假设，这个过程变得简单可行，因为各特征条件概率的计算可以独立进行，然后相乘以得到联合概率。

四、k近邻算法（k-NN）

k近邻算法（k-NN）是一种基于实例的学习方法，它不需要显式的训练过程。k-NN通过测量不同特征值之间的距离，来进行分类或回归。

距离量度

在k-NN算法中，距离量度是非常关键的，它决定了如何计算实例之间的相似性。常用的距离量度包括欧氏距离、曼哈顿距离和余弦相似度等。
k值的选择

k值的选择对算法的性能有重要影响。一个较小的k值意味着模型对噪声更敏感，易于过拟合；而一个较大的k值可以减少噪声的影响，但可能导致边界不够清晰。

五、线性回归和逻辑回归

线性回归是一种用于解决回归问题的方法，其目标是找到一个线性函数精确描述自变量和因变量之间的关系。逻辑回归则是处理分类问题的线性模型，它利用逻辑函数（Sigmoid函数）将线性回归的输出映射到0-1之间，用于概率预测。

线性回归的简单性与应用

线性回归模型简单、易于理解和实现，在实际应用中非常广泛。它可以用于预测连续的数值型数据，比如预测房价、股票价格等。
逻辑回归在分类中的作用

逻辑回归广泛应用于二分类问题，它的输出可以被解释为属于某类的概率。通过设定阈值，可以将连续的概率输出转化为分类结果。

六、集成学习方法

集成学习方法包括随机森林、梯度提升决策树（GBDT）、AdaBoost等，它们通过组合多个弱学习器来构建一个更强大的模型。集成方法通常可以提高模型的稳健性和准确性。

随机森林

随机森林是一种集成学习方法，它由多个决策树构成。随机森林在训练每个决策树时，会随机选择一部分特征，这种策略使得模型对单个决策树的过拟合有很好的抵抗力，并且提高了整体的泛化能力。
提升方法

提升方法如AdaBoost、GBDT等，是一类可以显著提升弱分类器性能的算法。这类算法通过顺序地添加弱学习器，并侧重于之前模型学习不足的数据点，形成一个强大的集成模型。

传统机器学习和统计学习方法虽然在某些方面已被深度学习所超越，但它们在解释性、计算成本、样本大小需求等方面仍有优势，并且在许多领域中仍然非常有效。了解和掌握这些传统方法，对于机器学习实践者来说是非常重要的基础。