-- 基于transformer模型的彩票预测 源自我另一个项目基于tensorflow lstm模型的彩票预测,按照transformer的特性重构了所有关键代码 目前进度:
- 按论文复现并优化了transformer/LSTM模型
- 完成基本的训练代码,已经测试快乐8
和双色球,理论上config里面配置好的项目,均可以支持。 - 完成基本的预测代码
,理论上config里面配置好的项目,均可以支持。 - 增加one hot 编码的方式
- 增肌混合one hot模式
- 尝试重写loss func
- 大部分参数均已保存至ckpt文件,读取并继续训练时将自动更新状态
- 增加双向lstm模型, 并在模型中,增加嵌入层,卷积层,多头注意力机制,以期待更好的效果
- 部分参数优化
- 增加小部分数据特征计算,并归一化,以期待更好的效果
目前碰到的问题:
- 现有的lstm模型还是觉得有点简单,主要体现在GPU资源吃不满。
- 有时候模型会偷懒,给出之前的历史数据,而不是预测的数据。这个问题很奇怪,时有时无。
- 期望有更多有效,且容易实现的特征计算。
目前效果:
20240505:
- 在特定参数下反复训练,将loss压制在10%以下,经过10天的测试,平均命中率为6/20(30%),最大命中9/20(45%),最低命中3/20(15%)。
- 特定参数原因,无法进行回测, 只能逐轮测试。