基于transformer模型,后面可以自己加入pool层
#+++++++++++特征 可以加入以下特征:
ad_id advertiser_id click_times creative_id industry product_category product_id time
time可以用作position embedding,也可以用delta time作为position embedding, 多篇论文已经证明position embedding对于transformer是很关键的,单纯的统计特征很难对时间序列进行建模
#++++++++++++模型结构从左至右大致如下
embedding -> transformer -> concat(max pool ,min pool) ->MLP 总的embedding_size必须能被num_heads=8整除
#++++++++++++samll数据作为调试用
#++++++++++++运行
- 新建train文件夹把训练集放到里面,新建test文件夹把测试集放到里面
- python multi_head.py
- 参数需要自己调整
注意:没有加上k折交叉,单词数据集划分可能导致验证集上的指标不稳定,有待解决