本项目旨在建立个人的投资看板,通过开源数据来源获取日频数据,制作各种支持个人投资决策的报表。
本项目主要使用Python + PostgreSQL
- git clone
- pip install -r requirements.txt
交易类型 |
缩写 |
描述 |
股票数据 |
STK |
|
期货数据 |
FTU |
|
期权数据 |
OPT |
|
数据类型 |
缩写 |
描述 |
交易数据 |
TRD |
开高低收数据 |
基本面数据 |
FND |
基本面数据 |
市场数据 |
MKT |
对全市场数据进行特定规则整理和归纳的数据统称为 市场数据。如:指数成分,市场股票清单,行业分类数据,市场热门股票, |
新闻数据 |
NWS |
这里的数据是可以被结构化的新闻数据,google trend,热点排行之类的数据 |
其它数据 |
UND |
不符合上述规则的数据,当数据之间可以被归类是,就新建一个分类,并把这些分类数据转移到新建的分类中 |
数据来源 |
缩写 |
描述 |
雅虎 |
YHO |
雅虎财经数据 |
FRED |
FRD |
FRED 总体经济数据 |
Google Trend |
GOG |
谷歌趋势数据 |
financedatabase |
FDS |
|
Wekipedia |
WKP |
维基百科 |
规则:
<交易类型><数据类型><数据来源>_<业务名称>
说明:
- 红色字体部分的名称需要从上述表明命名规范中获取,表格中不能存在的,需要先添加到表格中,才能使用
- 业务名称为自行命名,命名规则尽可能通俗易懂
- 表名中不使用唯一索引唯一主键;爬虫爬取数据经常有大批量数据同时写入,索引和唯一主键会大幅降低效率。
- 买个表中必须添加 data_in_date 字段,字段为 datetime 类型,精确到毫秒。用于标记每条数据入库时间。
表名 |
简介 |
备注 |
STK_MKT_FDS_INDUSTRY_LIST |
行业列表获取 |
|
STK_MKT_FDS_INDUSTRY_COMPONENT |
行业成分 |
|
STK_MKT_WKP_IDX_COMPONENT |
指数成分表 |
|
STK_TRD_YHO_MAJOR_IDX |
全球主要指数交易数据 |
|
STK_TRD_YHO_DAILY |
雅虎的日频数据 |
|