AI 参与说明（Agent：Claude Code）：本页由 Claude Code 整理，正文中的原有结构予以保留，补充核心概念说明与该主题的一手、权威参考入口；链接可访问性核验于 2026-08-14。
线性模型假设输出是输入特征的线性组合，形式简单但可解释性强，至今仍是结构化数据建模的基线。回归任务用线性回归，分类任务用逻辑回归（在线性组合外套 sigmoid）。特征数多或存在共线性时，用 Ridge（L2）与 Lasso（L1）正则化控制过拟合，其中 Lasso 还能把部分系数压到零，起到特征选择的作用。
线性回归#
均方误差（MSE）：预测值与真实值差的平方的均值，是线性回归的标准损失函数。
最小二乘法：使 MSE 最小的参数求解方法，在特征矩阵满秩时有闭式解 (XᵀX)⁻¹Xᵀy；特征量大时改用梯度下降等迭代解法。
权威参考#
- scikit-learn: Linear Models：官方用户指南，覆盖普通最小二乘、Ridge、Lasso、逻辑回归及其求解器选择。
- The Elements of Statistical Learning：线性方法与正则化的理论出处，作者官网提供免费 PDF。