搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 行思知识工坊 > 推荐系统系列2——评价指标

推荐系统系列2——评价指标

行思知识工坊 2020-07-05

       昨天对推荐系统进行了简单的介绍,今天说一下如何对推荐系统进行评价,用那些评测指标来进行量化评价。

  1. 用户满意度:推荐系统是面对用户的,最重要的指标自然是用户满意度,不过这个指标获得的方式有两个,一个是调查问卷,直接询问用户;一个是在推荐页面增加一个反馈界面,例如赞或者踩。

  2. 预测准确度:准确度反映了推荐系统预测用户行为的能力,多用在评分系统中,使用RMSE(均方根误差)和MAE(平均绝对误差),误差是指预测值和实际值之间的差值,RMSE是误差的平方和均值再开方,MAE是误差绝对值和均值,具体公式如下图:

    如果是TopN推荐,即向用户推荐一个列表,那么就只能通过对测试集和训练集的推荐列表进行召回率和准确率的计算,设A为训练集推荐列表,B为用户在测试集上的行为列表,C为A和B的交集(在A和B中都存在的行为),召回率为=C/B,准确率=C/A

  3. 覆盖率:描述一个推荐系统对物品长尾的发掘能力。互联网经济中如何发挥发挥长尾效应是一个重要课题,长尾效应也是互联网经济相较于传统经济模式最大的优势。覆盖率最简单的公式为:设A为推荐系统所有推荐列表的并集,I是所有的商品,那么覆盖率=A/I。如果一个推荐系统只能推荐全部商品中的一小部分,那么这个推荐系统的覆盖率就很低。

       除了以上3个主要指标之外,还有多样性(尽可能多的覆盖用户绝对多数兴趣点)、新颖性(给用户推荐那些他们之前没有听说过的物品)、惊喜度(推荐的物品和用户历史行为不相关,但用户喜欢)、信任度(用户对推荐系统的信任程度)等指标,这类指标很多定义比较模糊,这里不再详谈,感兴趣的可以参考《推荐系统实践》这本书。

       推荐系统的评价指标就说到这里,后面我会介绍基于用户行为数据的推荐系统,敬请期待!

参考文献:项亮. 推荐系统实践[M]. 人民邮电出版社, 2012.

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《推荐系统系列2——评价指标》的版权归原作者「行思知识工坊」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注行思知识工坊微信公众号

行思知识工坊微信公众号:xingsidatacastle

行思知识工坊

手机扫描上方二维码即可关注行思知识工坊微信公众号

行思知识工坊最新文章

精品公众号随机推荐