FetchData.scala
获取API上全量的数据,并保存成CSV文件到本地TransData.scala
交通卡数据实体类App.scala
Spark 应用程序,对数据进行了简单的统计,并保存结果到MySQL中- 统计指标:每个线路和站点,出站和入站的刷卡量
- 按天统计
- 按小时统计
- 统计指标:每个线路和站点,出站和入站的刷卡量
card-data
目录下的csv文件是已经获取好的全量刷卡数据(1337000
条)szt_card_data_2920000403601.csv
是10000
条的刷卡数据
https://opendata.sz.gov.cn/data/dataSet/toDataDetails/29200_00403601
http://opendata.sz.gov.cn/api/29200_00403601/1/service