机器学习：来自测试数据的训练模型

作者: 一腔诗意
发布时间: 2024-06-07 06:09:18 (1月前)
转自：

4 条回复

0#
回复此人
一只特立独行的猪 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 考虑您有训练和测试数据集。训练数据集是您知道输出并在训练数据集上训练模型并尝试预测测试数据集输出的数据集。 大多数人将火车数据集分成火车和验证。首先，您在列车数据上运行模型并在验证集上对其进行评估。然后再次在测试数据集上运行模型。 现在您想知道这将如何帮助和任何使用？这有助于您了解所看到的数据（验证数据）和看不见的数据（您的测试数据）的模型性能。 这里出现了偏差 - 方差权衡。 <a href="https://machinelearningmastery.com/gentle-introduction-to-the-bias-variance-trade-off-in-machine-learning/" rel="nofollow noreferrer"> https://machinelearningmastery.com/gentle-introduction-to-the-bias-variance-trade-off-in-machine-learning/ </A> </DIV>

编辑
1#
回复此人
哈哈哈哈 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 让我们考虑一个二进制分类示例，其中学生之前的学期成绩，体育成就，课外活动等用于预测他是否将通过最后一个学期。 假设我们有大约10000个样本（10000名学生的数据）。 现在我们分开它们： 训练集 - 6000个样本 验证集 - 2000个样本 测试集 - 1000个样本 训练数据通常分为三个（训练集，验证集和测试集），原因如下： 1）的 特征选择： </强> 假设您已经使用某种算法训练了模型。您可以计算训练准确性和验证准确性。您绘制学习曲线并查找模型是否过度拟合或欠拟合并进行更改（添加或删除要素，添加更多样本等）。重复，直到获得最佳验证准确度。现在使用测试集测试模型以获得最终得分。 2）的 参数选择： </强> 当你使用像KNN这样的算法时，你需要找到适合模型的最佳K值。您可以绘制不同K值的准确度，并选择最佳验证准确度并将其用于测试集。（当你发现随机森林的n_estimators等时同样适用） 3）的 型号选择： </强> 您还可以使用不同的算法训练模型，并通过使用验证集测试精度来选择更适合数据的模型。 因此，基本上验证集可帮助您评估模型的性能，以便您必须对其进行微调以获得最佳精度。 希望你觉得这很有帮助。 </DIV>

编辑
2#
回复此人
Moso31 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 评估模型在“狂野”中的表现有多好的最佳方法是评估其在未见过的数据集上的表现（即已经过训练） - 假设您在监督学习问题中有标签。 人们将他们的数据分成训练/测试/评估并使用训练数据来估计/学习模型参数和测试集以调整模型（例如，通过尝试不同的超参数组合）。通常基于优化测试度量的超参数组合来选择模型（回归 - MSE，R ^ 2等;分类 - AUC，准确度等）。然后，通常在组合的列车+测试数据集上重新训练所选模型。重新训练后，模型将根据其在评估数据集上的表现进行评估（假设您有一些基本事实标签来评估您的预测）。 eval指标是您报告的泛化指标 - 即模型在新数据上的表现。 这有帮助吗？ </DIV>

编辑

登录后才能参与评论