1. 监督学习 1.1.1 普通最小二乘法1.1.3 Lasso1.1.5 弹性网络1.1.7 最小角回归1.1.9 正交匹配追踪法(OMP)1.1.11 logistic 回归1.1.13 Perceptron(感知器)1.1.15 稳健回归(Robustness regression): 处理离群点(outliers)和模型错误 1.2 线性和二次判别分析 1.2.2 LDA 和 QDA 分类器的数学公式1.2.4 Shrinkage(收缩) 1.3 内核岭回归 1.4.1 分类1.4.3 密度估计, 异常(novelty)检测1.4.5 使用诀窍1.4.7 数学公式 1.5 随机梯度下降 1.5.3 稀疏数据的随机梯度下降1.5.5 停止判据1.5.7 数学描述 1.6 最近邻 1.6.2 最近邻分类1.6.4 最近邻算法1.6.6 邻域成分分析 1.7.1 高斯过程回归(GPR)1.7.3 高斯过程分类(GPC)1.7.5 高斯过程内核 1.9 朴素贝叶斯 1.9.2 多项分布朴素贝叶斯1.9.4 伯努利朴素贝叶斯 1.10 决策树 1.10.2 回归1.10.4 复杂度分析1.10.6 决策树算法: ID3, C4.5, C5.0 和 CART 1.11.1 Bagging meta-estimator(Bagging 元估计器)1.11.3 AdaBoost1.11.5 Voting Classifier(投票分类器) 1.12 多类和多标签算法 1.12.2 1对其余1.12.4 误差校正输出代码1.12.6 多输出分类 1.13 特征选择 1.13.2 单变量特征选择1.13.4 使用 SelectFromModel 选取特征 1.14 半监督学习 1.15 等式回归1.17 神经网络模型(有监督) 1.17.2 分类1.17.4 正则化1.17.6 复杂度1.17.8 实用技巧