怎样通过分类算法的AUC指标来评测推荐精准度

2020年很多人都在玩短视频app，抖音、快手之类的，不管是上到80岁的爷爷奶奶还是下到幼儿园的小朋友都在玩短视频app归根结底就是抖音根据个人爱好进行的精准视频推荐，那么问题来了，精准度怎么测试呢? 精准度就是一个概率值，并且像抖音这样的推荐系统通常是使用人工智能分类算法实现的，而分类算法有个AUC指标可以很好的衡量概率值的大小评测是否合适。就通过本文两步来介绍怎样通过分类算法的AUC指标来评测类似抖音推荐系统的推荐精准度。

一、了解TPR与FPR指标

·目标

了解TPR与FPR的定义以及作用

·步骤

1.了解AI模型分类算法的4个关键定义

TP:抖音推荐的视频确实是用户想要的视频

TN:抖音没推荐的视频确实是用户不想要的视频

FP:抖音推荐的视频是用户不想要的视频

FN:抖音没推荐的视频是用户想要的视频

2.了解TPR和FPR的公式

TPR = TP / (TP + FN) FPR = FP / (FP + TN) 3.TPF和FPR的作用

分别用于衡量推荐精准度图形的横纵坐标

二、了解SOC以及AUC

·目标

掌握SOC、AUC的定义以及作用

·步骤

1.SOC曲线图的定义

ROC曲线的横轴就是上面提到的FPR，纵轴就是上面提到的TPR，其图形如下图蓝色线段所示：

越接近于左上角表示衡量的概率值越合理

2.AUC指标

• AUC的概率意义是随机取一对用户喜欢的视频和用户不喜欢的抖音视频，将用户喜欢的视频优先于用户不喜欢的视频进行推送的概率值，因此这个值越大越好

• 从几何意义上看AUC就代表SOC曲线的面积。代表了系统将用户喜欢的视频按照概率值从大大小进行排序的分类能力，因此AUC可以很好的衡量公司开发的推荐系统推荐的概率值也就是精准度是否合理

以上就是我们短视频精度测试的内容