/Stock-crawler

A program for gently analyzing and crawling stock information

Primary LanguagePythonMIT LicenseMIT

本项目是一个股票爬虫

项目简介

开发网络爬虫在东方财富、新浪财经或者纳斯达克等财经网站上爬取任意一只股票的每天的开盘价,收盘价,最高价,最低价等信息,并存储在数据库中,并对数据进行处理分析,生成K线图。并开发GUI应用可视化。

应用到的技术、重点与难点

技术:

  • 网络爬虫以及selenium库的基本知识;

  • 学会利用正则表达式对网页信息提取;

  • 掌握Matplotlib库对于K线图绘画的使用;

  • 掌握pythonwx对于GUI的开发;

  • 熟练使用numpy对于数据的处理;

  • 熟练掌握mysql数据库的访问和表中的数据操作;

重点:

  • 网络爬虫框架的使用

  • 正则表达式的使用

  • 数据库存储数据(通过python对数据库的操作)

难点:

  • 利用正则表达式根据网页中的信息组织方式提取数据

  • K线图的展现

程序运行

  • 启动主函数

运行Gui_wx.py,产生登录界面

  • 输入登录信息进行登录

正确输入之后,进入爬虫系统

  • 选择对应股票进行爬取

选择(深证,上证,创业板)的股票,输入对应股票的股票编号

点击确定等待系统进行爬取

  • 等待命令行显示爬取完毕

显示出爬取完毕之后,对应股票近三十天的所有信息都被存储在了mysql数据库中

并且在数据库中还会生成一个平局值和涨幅跌幅情况的数据表

在程序目录下还会生成对应股票的K线图