Jdata
如期而至-用户购买时间预测
1. 前言
这是第一次取得自己还算满意的成绩(虽然在大佬看来不是很好),感觉这个比赛也付出了很多,花了很多时间,从找特征找模型,尝试过很多方法,也参考了很多大佬的开源,所以在这里也将自己的代码开源出来,向开源致敬
1.1 最终成绩
0.3438(S1:0.4802/S2:0.2529)
排名26,参赛人数5182
1.2 队伍
队伍名称 MADE
队长:kmyf 队员:chenxj
2. 比赛回顾
2.1 竞赛概述
通过京东真实历史数据(用户基本信息,订单记录,浏览/收藏记录,评价记录),预测热销品类的用户购买意愿和时间
比赛链接 https://jdata.jd.com/html/detail.html?id=2
2.2 基本解决方案
本题要预测两个部分,s1为购买的用户,s2为用户购买的时间
2.2.1 解题思路
这个题目首先要预测的是购买的用户,只有s1比较高的情况下,s2自然而然的比较高。因此我们觉得这题可以从s1入手,先预测出购买的用户,再来预测s2用户购买的时间。
2.2.2 数据预览
拿A榜数据为例,下同
-
sku包含sku_id,price,cate,para_1,para_2,para_3,其中sku_id有99412个,cate有六种,我们预测的为两种,因此提取特征时按照不同的cate来提取特征是有帮助的。para_1类别很多,para_2、para_3类别只有几种,并且也都去敏感了,提取特征的时候将其独热编码然后来判断特征是否重要;
-
action包含user_id,sku_id,a_date,a_num,a_type,其中action有6944141数据,用到了99133个sku_id,有365天的数据,93453个用户ID,两种用户类型;
-
basic_info包含user_id,age,sex,user_lv_cd,其中有98924个用户ID,年龄和性别都可以独热编码来作为特征;
-
comment_score包含user_id,comment_create_tm,o_id,score_level,其中有224284条评论,用到了42191个user_id,222972种comment_create_tm,191462个o_id;
-
order包含了user_id,sku_id,o_id,o_date,o_area,o_sku_num,其中660933种o_id,98924种user_id,25474种sku_id,365天的数据,31个o_area,51种o_sku_num,A榜的数据没有缺失值,B榜的数据有,拿到数据后先看下数据的分布,数据自带的特征,并且这些数据包含了节假日,6.18和11.11这两天的订单量远大于其他天数。
-
根据feature/IJCAI-2018-DOG中的图可以看出,用户购买意愿在刚浏览/收藏之后快速衰减,因此需要建立时间窗口,对不同时间段间隔分别处理。
2.2.3 特征寻找
寻找特征想到了两种思路,一种是根据用户来寻找特征(另一种是根据行为来寻找特征,在看其他开源的时候有见到过)
提取特征分为两类,一类根据用户的订单来提取特征,一类根据用户的行为来提取特征 特征提取方法
- 时间窗口法:提取预测时间前一段时间内的特征,如用户近半个月的行为,一个月的行为,三个月的行为等,来预测下个月的行为
- 概率累计法:通过用户的统计特征来计算下单的概率,如用户的点击/收藏/下单行为转化成下单的概率
- 时间间隔法:用户本次的行为/下单对应着下一次下单的时间间隔
2.2.4 模型选择
使用了lgb和xgb模型,但是由于xgb模型在线下表现的没有lgb好,所以最终使用的是lgb模型。当然也尝试过其他模型,比如ffm,deepfm,由于使用使用不熟练并且模型的一些限制所以效果不是很好。
模型选择上面我们花的时间还是比较少的,使用lgb模型基本没怎么调参,大部分时间还是花在了找特征上面。寻找特征的时候使用单模型,根据单模型的结果来判断特征是否有用。在提交的时候使用了stacking和bagging模型融合方法,线下训练能在原来的基础上s1增加个两个千分点。
lgb调参尝试了修改学习率,修改二分类和回归问题,修改了对应的损失函数。
3. 说明
- 运行环境:python3
- 需要安装的包:lightgbm、pandas、numpy、sklearn
- 运行:GitHu不支持上传100M以上的文件,你们可以到前面提供的Jdata竞赛链接中下载数据集,将数据集放在data文件夹下,运行lgb.py
4. 后记
比赛结束后看别人思路发现把s2的目标函数改一下,不用mse,使用s2的评分函数,可以让s2提高3个百分点,这一点当时没有考虑到,但确实是可行的。 s2我们确实没怎么好好考虑,训练时也是一直在关注着s1,所以s2的分数随着s1的增加而增加。理论上s2与s1分开训练,使用不同的特征集会比较好,我们还没有去尝试。导致s2训练出来的日期数一直在5-15号之间徘徊。 还有人说用obj能不能做,这个还真没考虑过,nn的方法应该也可以,但是由于时间等因素没有去尝试。