Python机器学习入门实战：从零开始构建房价预测与手写数字识别模型

weixin_34235457

423人浏览 · 2026-07-15 13:43:10

weixin_34235457 · 2026-07-15 13:43:10 发布

1. 为什么选择机器学习作为入门方向？

机器学习正在重塑我们与技术互动的方式。从手机上的语音助手到电商平台的推荐系统，再到医疗诊断辅助工具，这项技术已经渗透到日常生活的方方面面。对于初学者来说，机器学习入门可能会让人望而生畏，但它的核心概念其实非常直观——让计算机从数据中学习规律，而不是被明确编程。

我刚开始接触机器学习时，最大的困惑是不知道从何处入手。市面上有太多理论书籍和高级教程，但缺乏真正面向零基础的实践指南。这就是为什么我决定整理这份实战教程，带大家用最直接的方式体验机器学习的魅力。

2. 环境准备与工具选择

2.1 Python与必备库的安装

机器学习领域最流行的编程语言非Python莫属。它语法简洁，拥有丰富的生态系统。以下是安装步骤：

从Python官网下载最新稳定版本（目前是3.11.x）
安装时务必勾选"Add Python to PATH"选项
验证安装：在命令行输入 python --version

接下来安装核心库：

pip install numpy pandas matplotlib scikit-learn

NumPy：高效的数值计算基础库
Pandas：数据处理和分析利器
Matplotlib：数据可视化工具
Scikit-learn：机器学习算法实现库

提示：建议使用虚拟环境管理项目依赖，避免版本冲突。可以通过 python -m venv myenv 创建虚拟环境。

2.2 Jupyter Notebook的使用

交互式编程环境能极大提升学习效率。Jupyter Notebook允许你分段执行代码并即时查看结果：

pip install notebook
jupyter notebook

启动后浏览器会自动打开工作界面。点击"New"→"Python 3"创建新笔记本。这种环境特别适合做数据探索和算法实验。

3. 第一个机器学习项目：房价预测

3.1 理解问题与数据准备

我们从经典的波士顿房价数据集开始。这个数据集包含506个样本，每个样本有13个特征（如犯罪率、房间数等）和对应的房价中位数。

加载数据：

from sklearn.datasets import load_boston
boston = load_boston()
X = boston.data  # 特征
y = boston.target  # 目标值

查看数据结构：

print(f"特征形状: {X.shape}")
print(f"目标值形状: {y.shape}")

3.2 数据探索与可视化

了解数据是成功建模的第一步。我们可以：

查看特征统计：

import pandas as pd
df = pd.DataFrame(X, columns=boston.feature_names)
df.describe()

绘制特征与目标的关系：

import matplotlib.pyplot as plt
plt.scatter(df['RM'], y)  # 房间数与房价的关系
plt.xlabel('平均房间数')
plt.ylabel('房价')
plt.show()

3.3 构建并训练模型

我们选择线性回归作为第一个模型：

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

# 拆分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建并训练模型
model = LinearRegression()
model.fit(X_train, y_train)

# 评估模型
train_score = model.score(X_train, y_train)
test_score = model.score(X_test, y_test)
print(f"训练集R²: {train_score:.3f}, 测试集R²: {test_score:.3f}")

3.4 模型改进与验证

初始模型可能表现不佳，我们可以尝试：

特征工程：比如创建房间数的平方项
尝试其他算法：决策树、随机森林等
调整模型参数

改进示例：

from sklearn.ensemble import RandomForestRegressor

rf = RandomForestRegressor(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)
print(f"随机森林测试集R²: {rf.score(X_test, y_test):.3f}")

4. 图像分类实战：手写数字识别

4.1 MNIST数据集介绍

MNIST包含70,000张手写数字图片，每张都是28x28的灰度图。这是计算机视觉的"Hello World"。

加载数据：

from sklearn.datasets import fetch_openml
mnist = fetch_openml('mnist_784', version=1)
X, y = mnist["data"], mnist["target"]

4.2 数据预处理

图像数据需要特殊处理：

# 将像素值缩放到0-1之间
X = X / 255.0

# 将标签转换为整数
y = y.astype(int)

# 查看样本
plt.imshow(X[0].reshape(28, 28), cmap="binary")
plt.title(f"标签: {y[0]}")
plt.axis("off")
plt.show()

4.3 构建分类模型

我们使用简单的逻辑回归作为起点：

from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# 使用部分数据加速训练
X_train, X_test = X[:60000], X[60000:]
y_train, y_test = y[:60000], y[60000:]

log_reg = LogisticRegression(max_iter=1000)
log_reg.fit(X_train, y_train)

y_pred = log_reg.predict(X_test)
print(f"准确率: {accuracy_score(y_test, y_pred):.4f}")

4.4 模型优化技巧

提高图像分类性能的常见方法：

数据增强：旋转、平移图像增加多样性
使用卷积神经网络(CNN)
调整学习率和正则化参数

CNN实现示例：

import tensorflow as tf
from tensorflow.keras import layers

model = tf.keras.Sequential([
    layers.Reshape((28, 28, 1), input_shape=(784,)),
    layers.Conv2D(32, (3,3), activation='relu'),
    layers.MaxPooling2D((2,2)),
    layers.Flatten(),
    layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(X_train, y_train, epochs=5, validation_split=0.1)

5. 机器学习项目实战流程总结

5.1 标准工作流程

问题定义：明确要解决什么问题
数据收集：获取相关数据集
数据探索：理解数据特征和分布
数据预处理：清洗、转换、标准化
模型选择：根据问题类型选择算法
模型训练：用训练数据拟合模型
模型评估：在测试集上验证性能
模型优化：调整参数提高效果
模型部署：将模型应用到实际问题

5.2 常见问题与解决方案

过拟合：模型在训练集表现好但测试集差
- 解决方案：增加数据、使用正则化、简化模型
欠拟合：模型在训练集表现就不佳
- 解决方案：增加特征、使用更复杂模型、减少正则化
数据不平衡：某些类别样本极少
- 解决方案：过采样少数类、欠采样多数类、使用类别权重

5.3 学习资源推荐

在线课程：
- 吴恩达《机器学习》(Coursera)
- Fast.ai《Practical Deep Learning for Coders》
书籍：
- 《Python机器学习手册》
- 《Hands-On Machine Learning with Scikit-Learn, Keras and TensorFlow》
实践平台：
- Kaggle：参加机器学习竞赛
- Colab：免费的GPU计算资源