3. 模型选择和评估

3. 模型选择和评估

• 3.1 交叉验证：评估估算器的表现
  • • 3.1.1.1 cross_validate 函数和多度量评估
  • 3.1.2 交叉验证迭代器
    • • 3.1.2.1.1 K 折
      • 3.1.2.1.3 留一交叉验证 (LOO)
      • 3.1.2.1.5 随机排列交叉验证 a.k.a. Shuffle & Split
    • • 3.1.2.2.1 分层 k 折
    • 3.1.2.3 用于分组数据的交叉验证迭代器
      • 3.1.2.3.2 留一组交叉验证
      • 3.1.2.3.4 Group Shuffle Split
    • 3.1.2.5 交叉验证在时间序列数据中应用
  • 3.1.3 A note on shuffling
• 3.2 调整估计器的超参数
  • 3.2.3 参数搜索技巧
    • 3.2.3.2 为评估指定多个指标
    • 3.2.3.4 模型选择：开发和评估
    • 3.2.3.6 对故障的鲁棒性
  • • 3.2.4.1 模型特定交叉验证
    • 3.2.4.3 出袋估计
• • 3.3.1 参数: 定义模型评估规则
    • 3.3.1.2 根据 metric 函数定义您的评分策略
    • 3.3.1.4 使用多个指数评估
  • • 3.3.2.1 从二分到多分类和 multilabel
    • 3.3.2.3 Balanced accuracy score
    • 3.3.2.5 混淆矩阵
    • 3.3.2.7 汉明损失
    • • 3.3.2.8.1 二分类
    • 3.3.2.10 Hinge loss
    • 3.3.2.12 马修斯相关系数
    • 3.3.2.14 Receiver operating characteristic (ROC)
    • 3.3.2.16 Brier 分数损失
  • • 3.3.3.1 覆盖误差
    • 3.3.3.3 排序损失
  • • 3.3.4.1 解释方差得分
    • 3.3.4.3 平均绝对误差
    • 3.3.4.5 均方误差对数
    • 3.3.4.7 R² score, 可决系数
  • 3.3.6 虚拟估计
• • 3.4.1 持久化示例
• 3.5 验证曲线: 绘制分数以评估模型