这只是初次学习python爬虫的一个过程产物。
暂时只用了一些简单的基础语法和库函数,没有涉及框架之类的东西。
这里所编写的爬虫主要是针对银行官网的网点信息。
代码经过部分的抽象
你可以在controller包下py文件的函数入口中观察到
程序在
是否需要入库,
是否需要生成对应JSON文件按省份、城市、区县分包,
对单独的省份、城市、区县等单独抓取
等方面做了处理。
抓取过程中,还有部分异常没有处理,这是有爬取的一些脏数据引起的。
目前,只有两个银行的数据能正常爬取,
其余的等后期有时间再做完善。