| 🎈边走、边悟🎈迟早会好 |
一、概念
机器学习是一种利用数据来改进模型性能的计算方法，属于人工智能的一个分支。它旨在让计算机系统通过经验自动改进，而不需要明确编程。
类型
- 监督学习：使用带标签的数据进行训练，包括分类（如垃圾邮件检测）和回归（如房价预测）。
- 无监督学习：使用不带标签的数据进行训练，包括聚类（如客户细分）和降维（如主成分分析）。
- 强化学习：通过与环境的交互学习策略，以最大化累积奖励（如AlphaGo）。
二、 常见算法
2.1监督学习算法
- 线性回归：用于回归任务，假设目标变量与输入特征之间存在线性关系。
- 逻辑回归：用于二分类任务，输出一个介于0和1之间的概率。
- 决策树：树状结构的模型，易于理解和解释。
- 支持向量机（SVM）：寻找能够最大化类间间隔的决策边界。
- K近邻（KNN）：基于距离度量的简单算法，预测时考虑最近的K个邻居。
- 朴素贝叶斯：基于贝叶斯定理的分类算法，假设特征之间条件独立。
2.2无监督学习算法
- K均值聚类：将数据分成K个簇，使得簇内数据的相似度最大。
- 层次聚类：构建一个层次结构的聚类树，逐步合并或分割簇。
- 主成分分析（PCA）：将高维数据投影到低维空间，保留数据的主要变异信息。
- 独立成分分析（ICA）：类似于PCA，但假设数据成分相互独立。
2.3强化学习算法
- Q学习：基于状态-动作对的值函数，通过Q值迭代更新策略。
- 深度Q网络（DQN）：结合深度学习的Q学习算法，用神经网络近似Q值。
- 策略梯度方法：直接优化策略，使得期望奖励最大化。
三.、模型评估
评估指标
分类：
- 准确率：正确预测的样本数占总样本数的比例。
- 精确率：预测为正类的样本中实际为正类的比例。
- 召回率：实际为正类的样本中被正确预测为正类的比例。
- F1分数：精确率和召回率的调和平均数。
- 混淆矩阵：总结预测结果的矩阵，显示真阳性、假阳性、真阴性和假阴性。
回归：
- 均方误差（MSE）：预测值与真实值之差的平方和的平均数。
- 均方根误差（RMSE）：MSE的平方根。
- 平均绝对误差（MAE）：预测值与真实值之差的绝对值的平均数。
- R²：解释回归模型对数据变异的比例。
交叉验证
通过将数据集划分为若干子集，反复进行训练和验证，以评估模型的性能稳定性和泛化能力。
四、 优化技术
4.1 超参数优化
- 网格搜索：对所有可能的参数组合进行穷举搜索，找到最佳参数组合。
- 随机搜索：随机选择参数组合进行搜索，相对高效。
- 贝叶斯优化：利用贝叶斯推理逐步优化参数选择过程。
4.2 正则化
通过在损失函数中添加正则项，防止过拟合：
- L1正则化：加入参数的绝对值和（Lasso回归）。
- L2正则化：加入参数的平方和（Ridge回归）。
4.3 特征选择
选择对模型性能影响较大的特征，去除冗余或相关性高的特征。
五、 常见问题及解决方法
5.1 过拟合与欠拟合
- 过拟合：模型在训练集上表现良好，但在测试集上表现差。解决方法包括增加数据量、正则化、使用更简单的模型等。
- 欠拟合：模型在训练集上和测试集上都表现不佳。解决方法包括增加模型复杂度、添加更多特征等。
5.2 数据不平衡
当某一类样本数量远多于其他类时，模型可能偏向于预测多数类。解决方法包括重采样、调整分类阈值、使用加权损失函数等。
六、入门经典案例
1. 鸢尾花数据集分类（Iris Dataset Classification）
背景
鸢尾花数据集是机器学习领域中非常经典的数据集，由英国统计学家和生物学家Fisher在1936年提出。该数据集包含150个样本，每个样本有4个特征：花萼长度、花萼宽度、花瓣长度和花瓣宽度。目标是根据这些特征将鸢尾花分为三类：山鸢尾（Setosa）、变色鸢尾（Versicolor）和维吉尼亚鸢尾（Virginica）。
过程
- 数据预处理：加载数据并进行基本的清洗和探索性数据分析（EDA）。
- 特征选择：选择合适的特征来进行分类。
- 数据划分：将数据集分为训练集和测试集，一般采用80/20或70/30的比例。
- 模型选择：选择合适的分类算法，如K近邻（KNN）、支持向量机（SVM）、决策树（Decision Tree）等。
- 模型训练：在训练集上训练模型。
- 模型评估：在测试集上评估模型的性能，常用的评估指标包括准确率、混淆矩阵、F1分数等。
- 模型优化：根据评估结果进行参数调优或选择其他模型。
详解
# 示例代码（以KNN为例）
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix
# 加载数据
iris = load_iris()
X = iris.data
y = iris.target
# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 模型训练
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, y_train)
# 模型预测
y_pred = knn.predict(X_test)
# 模型评估
print("Accuracy:", accuracy_score(y_test, y_pred))
print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred))
print("Classification Report:\n", classification_report(y_test, y_pred))
2. 房价预测（Housing Price Prediction）
背景
房价预测是回归问题的经典案例之一，通常使用波士顿房价数据集。该数据集包含506个数据点，每个数据点有13个特征（如房间数量、房龄、犯罪率等），目标是预测房屋的中位数价格。
过程
- 数据预处理：加载数据，处理缺失值和异常值，进行EDA。
- 特征工程：选择重要特征，并进行特征缩放。
- 数据划分：将数据集分为训练集和测试集。
- 模型选择：选择回归模型，如线性回归（Linear Regression）、随机森林回归（Random Forest Regression）等。
- 模型训练：在训练集上训练模型。
- 模型评估：在测试集上评估模型性能，常用评估指标包括均方误差（MSE）、均方根误差（RMSE）等。
- 模型优化：根据评估结果进行参数调优或选择其他模型。
详解
# 示例代码（以线性回归为例）
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
# 加载数据
boston = load_boston()
X = boston.data
y = boston.target
# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 模型训练
lr = LinearRegression()
lr.fit(X_train, y_train)
# 模型预测
y_pred = lr.predict(X_test)
# 模型评估
mse = mean_squared_error(y_test, y_pred)
rmse = mse ** 0.5
print("MSE:", mse)
print("RMSE:", rmse)
3. 手写数字识别（Digit Recognition）
背景
手写数字识别是计算机视觉中的经典问题，通常使用MNIST数据集。该数据集包含60000个训练样本和10000个测试样本，每个样本是28x28像素的灰度图像，代表手写的数字0-9。
过程
- 数据预处理：加载数据，并进行基本的图像处理。
- 特征工程：将图像数据展平或进行特征提取。
- 数据划分：将数据集分为训练集和测试集。
- 模型选择：选择分类模型，如卷积神经网络（CNN）、支持向量机（SVM）等。
- 模型训练：在训练集上训练模型。
- 模型评估：在测试集上评估模型性能，常用评估指标包括准确率、混淆矩阵等。
- 模型优化：根据评估结果进行参数调优或选择其他模型。
详解
# 示例代码（以简单的多层感知机为例）
from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten
from tensorflow.keras.utils import to_categorical
# 加载数据
(X_train, y_train), (X_test, y_test) = mnist.load_data()
# 数据预处理
X_train = X_train.reshape(-1, 28*28).astype('float32') / 255.0
X_test = X_test.reshape(-1, 28*28).astype('float32') / 255.0
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)
# 构建模型
model = Sequential([
Flatten(input_shape=(28*28,)),
Dense(128, activation='relu'),
Dense(64, activation='relu'),
Dense(10, activation='softmax')
])
# 编译模型
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
# 训练模型
model.fit(X_train, y_train, epochs=10, batch_size=32, validation_split=0.2)
# 评估模型
loss, accuracy = model.evaluate(X_test, y_test)
print("Loss:", loss)
print("Accuracy:", accuracy)
🌟感谢支持 听忆.-CSDN博客
| 🎈众口难调🎈从心就好 |
