数据存储与更新
eryk opened this issue · 3 comments
eryk commented
按照数据源更新频率,对采集的数据进行清洗后将数据写入hbase
- hbase读写接口
- csv读写接口
eryk commented
分钟数据前复权问题
eryk commented
basic数据完成
tick数据完成
moneyflow数据完成
minute数据完成
daily数据完成
tick数据源只更新当天数据,只有toCSV,没有toDB
moneyflow数据只有toCSV,没有分类和个股数据toDB,
minute数据只有toCSV,toDB接口不灵活
daily数据只有toCSV,toDB接口不灵活
category数据更新太慢
moneyflow每次都是全量更新
minute和daily每次都是全量更新
eryk commented
完成更新任务配置文件,数据源按不同类型进行clear和update