增量更新
JaysonAlbert opened this issue · 3 comments
JaysonAlbert commented
首先数据有几部分:
- 1分钟k线
- 日K线
- 6大表,报表基本面数据
- 除息除权,股票基本信息, 股本数据
基本情况如下:
- 1分钟k线,每只股票一个bcolz存放,可以增量
- 日线数据是一个bcolz表放所有的股票日线数据,一个个股票按照顺序存放,没办法增量
- 6大表基本面数据,sqlite可以增量
4 没必要增量,很快,
JaysonAlbert commented
分钟k线原本是存到一个时间戳文件夹的,现在只需要改到固定文件夹,然后每次取最新的数据就可以了
JaysonAlbert commented
日线数据,目前最方便实现的就是,每日增量数据库,然后ingest的时候从数据库拿,会快很多
sharkblue2009 commented
可以考虑在每次ingest后,合并多个bcolz ctable。
- ingest如果不指定start time, 则从上一次ingest的时间开始取数据(也可回滚1天,避免日线在盘中取得的数据,在盘后变化的情况)
- ingest完成后,合并多次ingest的数据。始终用最新取得的数据覆盖老的数据。
- 除权数据在sqlite里,应该可以直接合并。