超参数优化
编辑超参数优化
编辑创建用于分类或回归分析的数据框分析作业时,存在称为超参数的高级配置选项。理想的超参数值因数据集而异。因此,默认情况下,作业会通过超参数优化过程计算最佳值组合。
超参数优化涉及多轮分析。每一轮都涉及不同的超参数值组合,这些组合通过随机搜索和贝叶斯优化技术的组合来确定。如果显式设置超参数,则该值不会被优化,并在每一轮中保持不变。为了确定哪一轮产生最佳结果,使用分层 K 折交叉验证方法来分割数据集、训练模型并计算其在验证数据上的性能。
您可以通过展开 Kibana 中的作业详细信息或使用获取已训练模型 API查看最终选择的超参数值。您还可以使用获取数据框分析作业统计信息 API查看用于比较每一轮优化的特定类型的验证损失(例如均方误差或二项交叉熵)。
不同的超参数可能会在不同程度上影响模型性能。为了估计优化超参数的重要性,使用了方差分解分析。生成的绝对重要性
显示超参数的变化如何影响验证损失的变化。此外,还计算了相对重要性
,它给出了超参数相对于其余可调超参数的重要性。所有相对重要性的总和为 1。您可以在获取数据框分析作业统计信息 API的响应中检查这些结果。
除非您完全了解超参数的目的,否则强烈建议您将其保留为未设置状态,并允许进行超参数优化。