/finance_news_analysis

金融新闻数据挖掘分析

Primary LanguageC++

项目简介

本项目致力于完成金融相关的数据抓取、NLP算法分析、量化策略、回测框架等的系统搭建工作,系统包括如下几个主要的部分;
image
代码和tutorial仍在完善中,将于近期更新

项目结构

.
├── algorithm(算法模型框架)
├── analyze(具体策略)
├── crawler(scrapy爬虫)
│   └── crawler
│   └── spiders(爬虫具体抓取代码)
├── database(数据库操作)
├── preprocess(数据预处理)
│   └── pre_data(预处理存放目录)
├── strategy(回测接口)
├── tonglian(通联数据获取接口)
├── tools(通联数据获取接口)
├── utils(通用处理类)
└── data(存放数据的目录)

Python库依赖

中文分词: jieba
爬虫: scrapy
Mysql连接: MySQLdb
ORM工具: sqlalchemy
AC自动机: esmre
布隆过滤器: pybloom
机器学习: scikit-learn
文本主题模型: gensim
快速生成Python扩展模块: Cython

注意事项

  1. 修改PYTHONPATH
    把项目所在目录添加到PYTHONPATH中。
    建议方法:
    通过PYTHONPATH 中的任何 .pth 文件来添加pythonpath。
    比如添加/home/aa这个路径到pythonpath里,可以这样做:
    1. 新建一个文件,名字随便,但后缀名须是.pth,比如aa.pth;
    2. 文件内容直接输入"/home/aa"(没有引号),如果有多个路径可以多行输入,但每行保证只有一个路径;
    3. 然后文件保存到sys.path列表中的任一文件夹下,一般来说我们保存到/usr/local/lib/python*/dist-packages,需要特别指出的是在不同版本中dist-packages可能被改成site-packages,最后重启python就可以了。