PROSAGA码农传奇-个性化推荐-如何在AWS Personalize中解释解决方案指标？

好吧，我的公司有开发人员层支持，因此我能够从AWS那里得到这个问题的答案。

答案总结

指标越接近“ 1”越好。我对指标的解释几乎是正确的，但结论并非如此。

显然，这些指标（通常是 Personalize）没有考虑用户对商品的喜欢程度。个性化只关心相关推荐多久能到达用户。这是有道理的，因为如果您将第25个项目排在队列中并且不喜欢所看到的任何内容，则您不太可能继续寻找。

鉴于此，我的解决方案中发生的事情是，最重要的建议是相关的，而其他建议都不是。

AWS的详细答案

首先，我将提出一个相对简单的问题：这些指标的理想值是多少，以便与其他解决方案版本相比，可以优先选择一个解决方案版本？上述问题的答案是，对于每个指标，数字越大越好。[1]如果您有多个解决方案版本，请选择这些指标具有较高值的解决方案版本。请注意，您可以通过覆盖默认配方参数[2]创建多个解决方案版本。并通过使用超参数[3]。

第二个问题：如何理解和解释AWS Personalize Solution版本的指标？我可以从我的研究中确认，在这种情况下，您为这些指标提供的定义和解释是有效的。

在我解释每个指标之前，这里是机器学习的主要概念之一的入门。这些指标如何计算？在创建解决方案版本期间的模型训练步骤将输入数据集分为两部分，训练数据集（约70％）和测试数据集（约30％）。在模型训练期间使用训练数据集。训练模型后，就可以用来预测测试数据集的值。做出预测后，将根据测试数据集中的已知（正确）值对它进行验证。[4]

我进行了进一步研究，以找到更多资源来理解这些指标背后的概念，并进一步阐述AWS文档中提供的示例。[1]

“ mean_reciprocal_rank_at_25”

首先让我们了解倒数排名：例如，电影流媒体服务使用解决方案版本来预测针对特定用户（即A，B，C，D，E）的5部推荐电影的列表。对这5部推荐电影进行比较后，针对该用户（在测试数据集中）喜欢的实际电影，我们发现只有电影B和E被用户实际喜欢。倒数排名将仅考虑第一个相关推荐（根据测试数据集正确）推荐，即电影B位于第2位，而忽略电影E位于第5位。因此，倒数将为1/2 = 0.5

现在，让我们扩展上面的示例，以了解平均倒数排名：[5]假设我们对三个用户进行了预测，并推荐以下电影。
用户1：A，B，C，D，E（用户喜欢B和E，因此互惠等级为1/2）
用户2：F，G，H，I，J（用户喜欢H和I，因此互惠等级是1/3）
用户3：K，L，M，N，O（用户喜欢K，M和N，因此互惠等级是1）
平均互惠等级将是所有各个互惠等级的总和除以用于预测的查询总数为3。（1/2 + 1/3 +1）/ 3 =（0.5 + 0.33 + 1）/ 3 =（1.83）/ 3 = 0.61

对于AWS Personalize Solution版本指标，所有查询中前25条推荐中的第一个相关推荐的倒数排名的平均值称为“ mean_reciprocal_rank_at_25”。

“ precision_at_K”

可以说是模型以最少的建议量提供相关元素的能力。下列Coursera提供的免费视频描述了精度的概念。[6]有关同一主题的非常好的文章可以在这里找到。[7]

让我们考虑相同的示例，电影流媒体服务使用解决方案版本来预测特定用户的5部推荐电影的列表，即：A，B，C，D，E。一旦将这5部推荐的电影与该用户喜欢的实际电影（测试数据集中的正确值）进行了比较，我们就会发现只有B和E真正被用户喜欢。precision_at_5将是总共5部电影中的2部正确预测的电影，可以表示为2/5 = 0.4

“ normalized_discounted_cumulative_gain_at_K”

此度量标准使用对数和对数刻度的概念为相关项目（测试数据集中的正确值）分配加权因子。对数和对数刻度的完整描述超出了本文档的范围。使用对数刻度的主要目的是将范围广泛的数量减少到小范围。

discounted_cumulative_gain_at_K
让我们考虑相同的示例，电影流媒体服务使用解决方案版本来预测特定用户的5部推荐电影的列表，即：A，B，C，D，E。一旦将这5部推荐的电影与该用户喜欢的实际电影（测试数据集中的正确值）进行了比较，我们就会发现只有B和E真正被用户喜欢。让我们考虑相同的示例，电影流媒体服务使用解决方案版本来预测特定用户的5部推荐电影的列表，即：A，B，C，D，E。一旦将这5部推荐的电影与该用户喜欢的实际电影（测试数据集中的正确值）进行了比较，我们就会发现只有B和E真正被用户喜欢。为了在5时产生累计折现收益（DCG），根据相关项目在前5条建议中的位置，为每个相关项目分配一个加权因子（使用对数标度）。该公式产生的值称为“折现值”。
公式为1 / log（1 +位置）
由于B在位置2处所以折现值为= 1 / log（1 + 2）
由于E在位置5处所以折扣值= 1 / log（1 + 5） ）
累计折现收益（DCG）通过将两个相关项目的折现值相加得出DCG =（1 / log（1 + 2）+ 1 / log（1 + 5））

normalized_discounted_cumulative_gain_at_K
首先，什么是“理想DCG”？在上面的示例中，理想预测应类似于B，E，A，C，D。因此，在理想情况下，相关项应位于数字1和2处。为了在5产生“理想DCG”，将根据每个相关项目在前5条建议中的位置为其分配一个加权因子（使用对数标度）。该公式产生的值称为“折现值”。
公式为1 / log（1 +位置）。
由于B在位置1处，所以折现值为= 1 / log（1 + 1）
当E在位置2处，因此折现值为= 1 / log（1 + 2）
理想DCG是通过将两个相关项DCG =（1 / log（1 + 1）+ 1 / log（1 + 2））

归一化折现累计收益（NDCG）是DCG除以“理想DCG”。DCG /理想DCG =（1 / log（1 + 2）+ 1 / log（1 + 5））/（1 / log（1 +1）+ 1 / log（1 + 2））= 0.6241

我希望以上提供的信息有助于理解这些指标背后的概念。

[1] https://docs.aws.amazon.com/personalize/latest/dg/working-with-training-metrics.html
[2] https://docs.aws.amazon.com/personalize/latest/dg /customizing-solution-config.html
[3] https://docs.aws.amazon.com/personalize/latest/dg/customizing-solution-config-hpo.html
[4] https://medium.com/@ m_n_malaeb / recall-and-precision-at-k-for-recommender-systems-618483226c54
[5] https://www.blabladata.com/2014/10/26/evaluating-recommender-systems/
[6] https：// /www.coursera.org/lecture/ml-foundations/optimal-recommenders-4EQc2
[7] https://medium.com/@bond.kirill.alexandrovich/precision-and-recall-in-recommender-systems-and-一些指标的东西ca2ad385c5f8