/wtpy

wtpy是基于wondertrader为底层的针对python的子框架

Primary LanguagePythonMIT LicenseMIT

WonderTrader2.png

wtpy

这是WonderTrader针对Python3适配的子框架

wtpy子框架简介

  • apps子模块
    • WtBtAnalyst.py 回测分析模块，主要是利用回测生成的数据，计算各项回测指标，并输出到excel文件
    • WtCtaOptimizer CTA优化器，主要是利用multiprocessing并行回测，并统计各项交易指标，最后将统计结果汇总输出到csv文件
    • WtHotPicker 国内期货换月规则辅助模块，支持从交易所网站页面爬取数据确定换月规则，也支持解析datakit每日收盘生成的snapshot.csv来确定换月规则
  • wrapper子模块

    该模块主要包含了所有和C++底层对接的接口模块

    • ContractLoader.py 主要用于通过CTP等接口加载基础的commodities.json和contracts.json文件
    • WtBtWrapper.py 主要用于和回测引擎C++核心模块对接
    • WtDtWrapper.py 主要用于和数据组件C++核心模块对接
    • WtDtHelper.py 主要提供将用户自己的数据和WonderTrader内部数据格式进行转换的功能
    • WtDtServoApi.py 主要向用户提供直接通过python访问datakit落地的数据的接口
    • WtExecApi.py 主要用于和C++独立执行模块WtExecMon对接
    • WtWrapper.py 主要用于和实盘交易引擎C++核心模块对接
    • WtMQWrapper.py 主要提供直接使用底层WtMsgQue模块的对接
    • WtDtHelper.py 主要用于和底层的WtDtHelper数据辅助模块对接
  • monitor子模块

    该模块主要包含了内置的监控服务，提供了Http和websocket两种连接方式

    • DataMgr.py 主要用于读取并缓存组合数据
    • EventReceiver.py 主要用于在指定的udp端口接收组合转发的各种事件
    • PushSvr.py 主要用于向web提供websocket服务
    • WatchDog.py 主要用于自动调度服务端的进程
    • WtBtMon.py 主要进行回测的管理
    • WtMonSvr.py 监控服务核心服务模块 ，利用flask实现了一个http服务接口
    • static webui静态文件
  • 其他模块

    主要位于根节点下，包含了各个子模块的入口组件

    • WtCoreDefs.py 主要定义的Python版本的策略基类，方便用户重写
    • CodeHelper.py 品种代码辅助模块，内置了一些方法，方便使用
    • ContractMgr.py 合约管理器模块，用于加载contracts.json或stocks.json文件，并提供查询方法
    • CtaContext.py 主要定义了CTA策略的上下文，可以理解为单策略的运行环境
    • HftContext.py 主要定义了HFT策略的上下文，可以理解为单策略的运行环境
    • SelContext.py 主要定义了SEL策略的上下文，可以理解为单策略的运行环境
    • ExtToolDefs.py 扩展模块定义文件，主要定义了一些扩展模块的基础接口
    • ProductMgr.py 品种管理器，主要用于Python环境中的合约属性、品种属性查询
    • SelContext.py 选股策略上下文，即选股策略直接交互的API
    • SessionMgr.py 交易时间模板管理器，主要用于Python环境中的交易时段模板管理
    • StrategyDefs.py 各引擎策略基础定义模块，定义了CTA、HFT、SEL三种策略基类
    • WtBtEngine.py 回测引擎转换模块，主要封装底层接口调用
    • WtDtEngine.py 数据引擎转换模块，主要封装底层接口调用
    • WtEngine.py 交易引擎转换模块，主要封装底层接口调用

如何让获取

延伸项目

相关资源

更新日志

0.9.7

  • C++底层更新到2023/03/21发布的v0.9.7版本
  • 监控服务的DataMgr获取资金的接口增加了对一次性读取全部策略资金数据的机制
  • 控制台webui做了一些优化
  • 其他配合底层的优化和调整

0.9.6

  • C++底层更新到2022/12/19发布的v0.9.6版本
  • 配合底层调整了WtDtServo的一些接口
  • 完善了WtWrapper中和底层关于图表的接口对接
  • 调整了WtCtaOptimizer和WtBtEngine一些接口，便于在终端中调用
  • WtCtaOptimize新增了一个消息队列的支持，可以发布优化的进度等信息
  • 配合底层扩展接口，完善了对增量回测的支持
  • 控制台webui做了一些优化
  • 其他配合底层的优化和调整

0.9.5

0.9.4

0.9.3

  • C++底层更新到2022/07/14发布的v0.9.3版本
  • 其他配合底层的优化和调整
  • 绩效分析器去掉对matplotlib的依赖，改成利用excel生成图表
  • 配置文件解析的时候，增加一个编码判断的逻辑
  • WTSTickStruct的买卖队列改成了单项，而不用数组，这样在python中转dataframe的时候便于处理
  • 停用BarList和TickList，全部改成更高效的WtBarRecords和WtTickRecords
  • WtDtServo配合底层新增了一个get_ticks_by_date接口用于按交易日读取tick数据以及一个get_sbars_by_date接口用于按交易日读取秒线数据
  • WtDtServo配合底层新增了一个get_bars_by_date用于按交易日获取分钟线数据
  • WTSBarStruct的to_tuple方法进行了扩展
  • apps.datahelper新增一个dumpBars接口，将要落地的K线数据直接通过回调的方式传出来，方便灵活控制如何保存K线数据
  • WtBtEngine和WtEngine中初始化的时候，把默认的基础文件名改成None，并加入判断，可以兼容配置文件中的配置项
  • 新增一个TraderDumper，调用底层的TraderDumper模块，可以将交易接口的数据转接出来
  • monitor.DataMgr模块读取数据的时候加了一些兼容处理，减少web控制台报错
  • WtBtEngine和WtEngine增加了配置自定义连续合约规则的接口registerCustomRule
  • WtHotPicker的演示demo中增加米筐数据源的支持
  • 绩效分析做了一些优化，主要是把目录改成output目录，后面的策略子目录通过策略id自动生产，这样就不用多次输入了
  • 完善了WtCtaOptimizer的一些细节
  • 遗传算法优化器优化
  • webui控制台发布包做了一个更新，主要增加了一些分页机制，页面可以不用那么卡
  • webui新增一个独立页面backtest.html，该页面主要提供可视化回测查看和分析功能
  • monitor下新增一个WtBtSnooper模块，可以运行一个简单的回测结果提取服务
  • demo进一步完善
  • 更多修改日志请参考WonderTrader v0.9.3更新日志
  • 调试资源请查看https://gitee.com/wondertrader/wtpy_utils/raw/master/pdb_wtpy_v0.9.3.rar

0.9.2

0.9.0(重大版本)

  • C++底层更新到2022/03/14发布的v0.9.0版本
  • （重要）重构了底层数据结构WTSTickStruct和WTSBarStruct，wtpy做了同步修改
  • （重要）配置文件全面兼容yaml和json两种格式，并实现了一个WTSCfgLoader模块自动处理
  • （重要）底层实现了对7*24小时交易品种的支持
  • （重要）完善了监控服务，支持扩展异常事件通知接口
  • 新增一个WtCCLoader模块，用于从网络接口加载合约列表
  • 新增一个遗传算法参数优化模块WtCtaGAOptimizer
  • demo进一步完善
  • 其他配合底层的优化和调整
  • 更多修改日志请参考WonderTrader v0.9.0更新日志
  • 调试资源请查看https://gitee.com/wondertrader/wtpy_utils/raw/master/pdb_wtpy_v0.9.0.rar

0.8.0(大版本)

  • C++底层更新到2021/12/24发布的v0.8.0版本
  • （重要）实现了ExtDataLoder的机制，实盘和回测框架都可以通过应用层的扩展数据加载器加载历史数据（可参考demos/test_dataexts）
  • （重要）实现了ExtDataDumper的机制，如果向datakit注册了ExtDataDumper，在收盘作业的时候，就会通过ExtDataDumper将实时数据转储（可参考demos/test_dataexts）
  • （重要）配合C++底层完善了对T+1交易机制的支持
  • WatchDog模块做了调整，增加了对进程使用的内存的监控
  • 新增了一个高性能容器DequeRecord（By ZerounNet），用于python部分的缓存替换原来的WtKlinData和WtHftData，在数据缓存方面，大致可以提升5%~10%的性能
  • demos下新增一个cta_unit_test，作为一个基准测试demo，以后会逐步完善
  • 其他细节优化和bug修正

0.7.1

  • C++底层更新到2021/10/24发布的v0.7.1版本
  • 回测框架C++底层增加了单步控制机制，用于控制回测进度，主要为了配合强化学习框架的调用习惯
  • WtDtEngine支持扩展Parser的接入，可以参考/demos/datakit_fut/testExtParser.py
  • 其他配合底层的优化和调整

0.7.0

  • C++底层更新到2021/09/12发布的v0.7.0版本
  • 新增一个WtDataServo模块，分为两种实现方式， 一种是调用本地底层WtDtServo模块，直接访问数据文件，根据需要可开启web接口，另外一种是直接访问第一种实现方式提供的web接口拉取数据，详情可以参考/demos/test_dataservo
  • 优化了WtWrapper和WtBtWrapper，将原来的global变量全部改成局部变量，可以提升运行效率
  • 通过singleton修饰器限定Wrapper为单例，和底层统一
  • 新增一个WtMsgQue模块，通过WtMQWrapper模块调用底层的WtMsgQue模块
  • EventReceiver模块改成调用WtMsgQue来实现，并按照回测和实盘框架分别实现EventReceiver
  • WatchDog启动和监控进程的机制进行了优化，不再使用threading挂载进程句柄的方式，而是利用cmdline和processid进行检查和监控，这样WtMonSvr重启之后，就可以重新根据命令行挂在已经在运行的进程
  • WtMonSvr新增回测管理模块WtBtMon，用于提供回测相关的接口服务
  • WtMonSvr完善了组合配置文件查询和修改的接口
  • WtMonSvr完善了组合风控过滤器filters.json的读取机制
  • WtMonSvr新增了用户修改密码和管理员重设用户密码的接口
  • PushSvr根据EventReceiver收到的数据，进行了适配，完善了消息推送的机制
  • WtBtAnalyst模块新增了run_simple接口，用于只进行最简单的每日资金分析，并将结果输出到summary.json文件
  • apps下新增了一个WtHotPicker.py模块，用于确定主力合约和次主力合约
  • 其他配合底层的优化和调整
  • webui剥离出来，单独发布到wtconsole仓库

0.6.5

  • C++底层更新到2021/07/19发布的v0.6.5版本
  • WtDtHelper新增一个resample_bars接口，用于将制定的dsb数据文件重新采样为其他周期的K线
  • SessionInfo新增一个toString对象，生成json格式的字符串
  • 暴力优化器CTAOptimizer支持设置多个回测时段
  • 完善了read_dsb_bars和read_dsb_ticks接口，同时新增read_dmb_bars和read_dmb_ticks接口调用WtDtHelper.dll的同名接口
  • Context新增一个is_backtest属性，用于判断是否在回测模式
  • 监控服务新增了查看组合文件结构、获取组合下文件内容以及修改组合下文件内容的接口
  • 完善了webui控制台针对风控员的权限控制
  • 完善了绩效分析模块的兼容性
  • webui完善
  • 其他代码级的优化和完善

0.6.4

  • C++底层更新到2021/05/24发布的v0.6.4版本
  • WtDtHelper中调用优化，去掉了global
  • 修正了一些底层接口调用时参数对应不上的问题
  • WtDtHelper新增了直接从python里向C++底层喂历史数据的接口trans_bars和trans_ticks
  • 新增了一些demo
  • 针对C++底层进行适配：1、CTA增加一个stra_get_fund_data接口，2、回测引擎，支持设置slippage
  • WtEngine构造函数提供指定数据输出目录的genDir参数，以及日志配置文件的logCfg参数
  • 其他代码级的优化和完善

0.6.3

  • C++底层更新到2021/04/14发布的v0.6.3版本
  • 绩效分析工具WtBtAnalyst功能大幅度扩展

0.6.2

  • C++底层更新到2021/03/17发布的v0.6.2版本
  • 日志信息翻译成英文
  • webui的部分表格添加了排序和统计功能

0.6.1

  • C++底层更新到2021/02/26发布的v0.6.1版本
  • 统一封装了一个PlatformHelper模块，用于确定操作系统的各种信息
  • 将绝大部分的函数参数和返回值都增加了类型，方便调用的时候查看
  • 将K线容器类的成员变量做了修改，size->capacity，count->size，便于用户理解
  • WtDtHelper模块新增两个接口read_dsb_ticks和read_dsb_bars，同步调用C++底层WtDtHelper模块的同名接口，用于直接读取dsb文件
  • CTA策略新增一个stra_get_last_exittime用于获取上一个出场信号
  • WtBeEngine和WtCtaOptimizer两个模块都增加了对C++策略的支持
  • 回测框架增加对session开始和结束事件的响应接口
  • 监控服务：增加了查看和修改入口脚本的接口/qrygrpentry、/cmtgrpentry
  • web-ui：去掉vue-json-viewer库，改用codemirror，用于展示和编辑代码
  • web-ui：控制台新增入口代码修改的组件，用于修改组合盘下的run.py入口文件
  • web-ui：优化了一些展示的细节
  • wtpy.apps下添加了一个datahelper子模块，该模块的主要作用就是将不同数据源的数据按照WonderTrader支持的格式保存起来

0.6.0

  • C++底层更新到2021/01/26发布的v0.6.0版本
  • CTA策略API新增一个stra_get_tdate，用于获取当前交易日
  • CTA策略API和SEL策略API各新增一个stra_get_all_position，用于获取全部的持仓数据
  • 完善了WtBtWrapper模块中对tick数据的处理
  • 完善了数据辅助模块WtDtHelper
  • 完善了跟C++底层新增的HFT接口的对接
  • 初步完成了跟C++底层新增的股票Level2数据访问接口的对接
  • 将WtDataDefs模块中的WtTickData改成WtHftData，作为高频数据的通用容器

0.5.4.1

  • WatchDog模块中修改了一周星期的序列，因为Python从周一到周天标记为0-6，而WonderTrader采用周天到周六为0-6

0.5.4

  • C++底层更新到2020/12/25发布的v0.5.4版本
  • C++底层接口针对传递配置文件内容的支持做了修改，同步修改了wtpy中的部分关联代码
  • 修正了监控服务中的WatchDog模块在linux下的启动参数的bug，解决了linux下无法启动的问题
  • 修正了监控服务的自动调度任务没有检查是否启用标记，从而导致重复启动的bug
  • 修改了监控服务的WebUI的一些展示细节
  • wrapper下新增一个WtDtHelper模块，用于对接C++底层的WtDtHelper模块，给python调用处理数据转换的任务
  • 将WtBtAnalyst模块迁移到wtpy.apps下
  • 新增一个WtOptimizer，用于遍历优化策略参数

0.5.3

  • CTPLoader增加一个isMini的参数，用于控制底层调用MiniLoader对接CTPMini2进行拉取
  • WtKlineData新增一个slice方法，用于对已有K线进行切片
  • C++底层更新到2020/12/08发布的v0.5.3版本
  • CtaContext新增一个stra_get_sessinfo接口，用于获取品种的交易时间信息
  • monitor模块中的web-gui修改了一些bug
  • 修正了绩效分析模块的一些bug

0.5.2

  • 同步WonderTrader核心为v0.5.2
  • 监控服务monitor增加了一个日志模块WtLogger.py，内部使用logging模块来记录日志
  • 进一步完善了web-ui的部分功能和配色
  • 新增一个CTPLoader模块，主要用于调用底层CTPLoader执行程序，用于从CTP账号加载合约列表

0.5.1

  • 同步WonderTrader核心为v0.5.1
  • 新增一个monitor监控服务模块，其中包含http服务、websocket服务两种对web端提供的服务，同时新增了组合事件组件，用于接收组合转发出来的实时事件，还新增一个调度模块用于自动调度服务器上的定时任务
  • 新增一个web-ui目录，用于管理wtpy的web-ui项目，暂时实现了PC版的监控界面，位于web-ui/console下，web-ui采用vue2+webpack来实现，前端采用element-ui界面库，能够实时提供强大的组合盘监控服务

0.5.0

  • 同步WonderTrader核心为v0.5.0
  • 引入了hft策略以后，策略可以直接调用行情接入模块Parsers，所以调整C++底层模块的目录结构，方便策略调用
  • 增加了HftContext以及BaseHftStrategy两个针对HFT策略的基础模块
  • 回测和实盘都完成了跟C++底层的HFT接口的对接

0.4.0

  • 新增一个SEL引擎，用于调度应用层的选股策略，得到目标组合以后，提供自动执行服务，暂时只支持日级别以上的调度周期，执行会放到第二天
  • 因为新增了选股调度引擎，所以全面重构WtPorter和WtBtPorter导出的接口函数，以便调用的时候区分
  • 新增一个独立的执行器模块WtExecMon，并导出C接口提供服务。主要是剥离了策略引擎逻辑，提供单纯的执行服务，方便作为单纯的执行通道，嫁接到其他框架之下
  • Windows下的开发环境从vs2013升级到vs2017，boost1.72和curl需要同步升级

0.3.6

  • 执行器使用线程池，减少对网络线程的时间占用
  • 增加了一个实盘仿真模块TraderMocker，可以满足目前已经支持的股票和期货的仿真交易
  • 更多接口支持（飞马、易盛iTap、CTPMini）
  • 内置执行算法增加TWAP
  • 继续完善文档

0.3.5

  • 把手数相关的都从整数改成浮点数，主要目的是为了以后兼容虚拟币交易(虚拟币交易数量都是小数单位)
  • 优化手数改成浮点数以后带来的日志输出不简洁的问题(浮点数打印会显示很多“0000”)
  • 逐步完善文档
  • XTP实盘适配，主要是修复bug

0.3.4

  • 正式开源的第一个版本