eryk/squant

数据存储与更新

eryk opened this issue · 3 comments

eryk commented

按照数据源更新频率,对采集的数据进行清洗后将数据写入hbase

  • hbase读写接口
  • csv读写接口
eryk commented

分钟数据前复权问题

eryk commented

basic数据完成
tick数据完成
moneyflow数据完成
minute数据完成
daily数据完成

tick数据源只更新当天数据,只有toCSV,没有toDB
moneyflow数据只有toCSV,没有分类和个股数据toDB,
minute数据只有toCSV,toDB接口不灵活
daily数据只有toCSV,toDB接口不灵活
category数据更新太慢
moneyflow每次都是全量更新
minute和daily每次都是全量更新

eryk commented

完成更新任务配置文件,数据源按不同类型进行clear和update