elasticsearch智能推荐系统用到的二分类模型是怎样的

本篇内容主要讲解“elasticsearch智能推荐系统用到的二分类模型是怎样的”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“elasticsearch智能推荐系统用到的二分类模型是怎样的”吧!

在邕宁等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供网站设计制作、成都网站设计 网站设计制作定制网站,公司网站建设,企业网站建设,成都品牌网站建设,网络营销推广,成都外贸网站建设公司,邕宁网站建设费用合理。

1. 算法设计概览

算法方案的设计,在整体思路的指导下,先从数据调研入手,明确模型开发应用过程中需要着重关注的问题。在算法方案设计中,加入对问题的考量,以期得到优化的模型结果。

整体算法方案如下图所示:

2. 样本构造

样本构造对于任意数据挖掘场景都至关重要,推荐系统也不例外。

一般而言,用户的购买是偏少的,所以单单使用用户购买作为正样本,会导致样本量很少。为了解决这个问题,将用户有行为的课程定义为正样本,其他的定义为负样本。这些行为包括:点击、收藏、分享、加购物车、购买等,由于各种行为代表的用户对课程的偏好度是不同的,所以在后续建模中会通过样本权重的方式体现出来。

用户产生过行为的课程,只是所有课程中很小的一部分,所以如果直接把用户没有产生过行为的课程作为负样本,会导致正负样本比例严重失衡。所以在实际建模过程中,会对负样本进行抽样,根据以往的经验,抽样后正负样本比例可以设置为1:80。

3. 特征工程

本节将对特征工程的开展思路进行描述,最终采用的特征,还需要根据数据情况进行调整。以下仅供参考,具体情况可详见《标签/筛选体系》。

l 短期用户行为的特征加工

类目下课程被点击、收藏、分享、加购物车、购买等的次数

不同标签下课程被点击、收藏、分享、购买等的次数

用户近期是否点击、收藏该课程

l 课程属性特征

课程所属类目

课程所属标签

课程销量和相似课程销量均值的比值

课程价格和相似课程价格均值的比值

近期被点击次、分享、收藏、加购物车的次数

课程标题词的个数、图片个数、以及和相似课程的均值的比值

上架天数

l 用户属性特征

性别、年龄、职业、地域、app使用天数

l 用户长期偏好

矩阵分解得到的用户标签偏好

用户价格偏好

4. 模型训练

模型训练主要考虑PLM、LightGBM、FM等模型,各模型各有优劣:

l PLM 在线性模型的基础上加入分块,可以实现非线性的效果。训练和预测速度快,适应大规模稀疏特征。

l LightGBM 基于决策树的迭代式模型。适合于稠密特征,模型精度高。但训练、预测速度不高,不适用于大规模稀疏特征。

l FM 自动进行特征之间的交叉,能发现有用的特征交叉。训练和预测速度快,但本质上是线性模型,可能效果不能得到保证。

在评价指标的选择上,主要关注准确率,兼顾覆盖率,准确率考虑采用MAP@k,DDCG@k等评价指标。

在项目开展过程中对各模型进行分别调优,并根据评价指标迭代式地优化特征和模型,不断提升离线评估效果。

5. 评价指标

在评价指标的选择上,主要从用户满意度、预测准确度以及覆盖率3个方面考虑:

l 用户的满意度是评测推荐系统最重要的指标,但是用户满意度无法通过离线计算,一般通过用户调查、在线实验获取。或者可以通过分析用户行为日志计算用户满意度,大致的计算方式为:计算推荐的课程中,用户购买并且评分较高的课程的占比。

l 预测准确度是最重要的推荐系统离线评测指标,包含评分预测和TopN推荐两个方面。评分预测的预测准确度通过均方根误差(RMSE)和平均绝对误差(MAE)度量;TopN推荐的预测准确度通过准确度(Precision)和召回率(Recall)度量。

l 覆盖率(Coverage)描述的是一个推荐系统对物品长尾的发掘能力,其定义指标有2种。第一种是信息熵,计算公式如下:

这里p(i)是物品i的流行度除以所有物品流行度之和。

第二种是基尼指数,计算公式如下:

这里ij是按照物品流行度p(i)从小到大排序的物品列表中第j个物品。

另外mAP@k,DDCG@k等也是模型评测的重要指标。

在项目开展过程中对各模型进行分别调优,并权衡各项评价指标迭代式地优化特征和模型,不断提升离线评估效果。

6. 模型应用

在模型实际应用中,需要关注模型的运行效率,更新频率等方面,下面对这两个方面进行展开。

1) 预测效率

对全量的用户和课程组合进行预测的话,需要进行n*m条记录进行预测,其中n为用户数,m为课程数,非常消耗资源。所以对于单个用户,需要筛选一部分课程,只预测用户对这些课程的偏好评分。目前考虑将以下几部分课程纳入预测范围:

l 运营课程

l 热门课程

主要针对新用户,用于给他们推荐人们课程

l 用户近期常点击类目下的课程、近期常点击标签下的课程

用户近期常点击的课程,某种程度上代表了用户近期的需求

而近期常点标签,具有某种程度的发散性,比如关于品牌的标签会发散到同品牌课程,关于功用的标签会发散到同功用课程

有助于新上架课程的发现

l 基于协同过滤算法给出的推荐课程

用标签代替课程,进行基于用户的协同过滤和基于课程的协同过滤,对于推荐课程的新颖性会带来提升

2) 更新频率

目前的算法设计为一天更新一次。在每天夜里,会将今天的新数据纳入模型训练、预测的范围,包括新产生的用户行为,新课程信息,新用户数据。

因为目前模型是离线模型,用户当前新产生的行为并不会影响推荐结果,要等到第二天模型更新完成后才会产生新的推荐。

3) 场景结合

模型对商品作出预测后,会生成用户对商品的偏好得分。下面对于三个不同的场景分开进行设计。

1. 对运营商品进行推荐

首先从运营表中获取运营商品的id,接着关联用户商品评分表,获取用户对商品的偏好度,按偏好度控制app上商品的显示顺序

2. 对指定类目下商品进行推荐

首先获取指定类目下商品的id,接着关联用户商品评分表,获取用户对商品的偏好度,按偏好度控制app上商品的显示顺序。

3. 搜索推荐

通过ElasticSearch获取商品搜索相关度后,关联用户商品评分表,将用户对商品的偏好度乘以搜索相关度,得到综合评分,按该评分控制app上搜索商品的显示顺序。

到此,相信大家对“elasticsearch智能推荐系统用到的二分类模型是怎样的”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


分享文章:elasticsearch智能推荐系统用到的二分类模型是怎样的
文章网址:http://pwwzsj.com/article/psghsd.html