personal_investment_dw

介绍

本项目旨在建立个人的投资看板,通过开源数据来源获取日频数据,制作各种支持个人投资决策的报表。

软件架构

本项目主要使用Python + PostgreSQL

安装教程

  1. git clone
  2. pip install -r requirements.txt

使用说明

数据命名规范

表名命名规范
交易类型 缩写 描述
股票数据 STK
期货数据 FTU
期权数据 OPT
数据类型 缩写 描述
交易数据 TRD 开高低收数据
基本面数据 FND 基本面数据
市场数据 MKT 对全市场数据进行特定规则整理和归纳的数据统称为 市场数据。如:指数成分,市场股票清单,行业分类数据,市场热门股票,
新闻数据 NWS 这里的数据是可以被结构化的新闻数据,google trend,热点排行之类的数据
其它数据 UND 不符合上述规则的数据,当数据之间可以被归类是,就新建一个分类,并把这些分类数据转移到新建的分类中
数据来源 缩写 描述
雅虎 YHO 雅虎财经数据
FRED FRD FRED 总体经济数据
Google Trend GOG 谷歌趋势数据
financedatabase FDS
Wekipedia WKP 维基百科
命名规则

规则: <交易类型><数据类型><数据来源>_<业务名称> 说明:

  1. 红色字体部分的名称需要从上述表明命名规范中获取,表格中不能存在的,需要先添加到表格中,才能使用
  2. 业务名称为自行命名,命名规则尽可能通俗易懂
表中字段规范
  1. 表名中不使用唯一索引唯一主键;爬虫爬取数据经常有大批量数据同时写入,索引和唯一主键会大幅降低效率。
  2. 买个表中必须添加 data_in_date 字段,字段为 datetime 类型,精确到毫秒。用于标记每条数据入库时间。
表明清单
表名 简介 备注
STK_MKT_FDS_INDUSTRY_LIST 行业列表获取
STK_MKT_FDS_INDUSTRY_COMPONENT 行业成分
STK_MKT_WKP_IDX_COMPONENT 指数成分表
STK_TRD_YHO_MAJOR_IDX 全球主要指数交易数据
STK_TRD_YHO_DAILY 雅虎的日频数据