爬取全国建筑市场监管公共服务平台企业数据
爬取网站名称：全国建筑市场监管公共服务平台（四库一平台） 网址：http://jzsc.mohurd.gov.cn/dataservice/query/comp/list # 企业数据
1、前期网站分析： 打开网站直接获取网页内容：静态网站直接获取内容 网站访问: 通过post方式 企业详细信息使用动态加载无法直接获取 分析通过网站地址+对应企业数字号获取 固定地址：+ compDetail(企业详细信息) + (对应企业数字号) 最大获取页面数30页 超过30页数据需加条件获取，并小于450条记录 每页15条记录 网址构成: 固定网址 + post
url = http://jzsc.mohurd.gov.cn/dataservice/query/comp/list
data = {'apt_code': apt_code, #资质名称代码 #'qy_fr_name': '', #企业法人代表 #'$total': '', #总的企业数 #'qy_reg_addr': '', #企业注册属地 #'qy_code': '', #统一社会信用代码 'qy_name': qy_name, #企业名称 #'$pgsz': '', #总共多少页 'qy_region': region, #企业注册属地编码 510000 四川 #'qy_type': 'QY_ZZ_ZZZD_004', #资质类别 QY_ZZ_ZZZD_004设计企业 '$pg': pg, #打开页 #'qy_gljg': '', #造价企业所属管理机构 510000 四川 #'apt_scope': '工程设计建筑行业（建筑工程）甲级' #资质名称 工程设计综合资质甲级 } #构建发送数据
pg: 指定打开网页的页码
apt_code: 查询资质名称编码
A1A 工程设计综合资质甲级
A31705A 工程设计市政行业道路工程专业甲级
A31706A 工程设计市政行业桥梁工程专业甲级
A32101A 工程设计建筑行业（建筑工程）甲级
A505A 工程设计风景园林工程专项甲级
qy_name: 企业名称
region: 企业注册地编码
[('110000', '北京市'), ('120000', '天津市'), ('130000', '河北省'), ('140000', '山西省'), ('150000', '内蒙古'),
('210000', '辽宁省'), ('220000', '吉林省'), ('230000', '黑龙江省'),
('310000', '上海市'), ('320000', '江苏省'), ('330000', '浙江省'), ('340000', '安徽省'), ('350000', '福建省'), ('360000', '江西省'), ('370000', '山东省'),
('410000', '河南省'), ('420000', '湖北省'), ('430000', '湖南省'), ('440000', '广东省'), ('450000', '广西'), ('460000', '海南省'),
('500000', '重庆市'), ('510000', '四川省'), ('520000', '贵州省'), ('530000', '云南省'), ('540000', '西藏'),
('610000', '陕西省'), ('620000', '甘肃省'), ('630000', '青海省'), ('640000', '宁夏'), ('650000', '**')
]
#企业详细信息 固定地址 + 类型 + 企业编号 http://jzsc.mohurd.gov.cn/dataservice/query/comp/ + compDetail/ + 001607220057270586
#企业资质资格 http://jzsc.mohurd.gov.cn/dataservice/query/comp/caDetailList/001607220057270586 #注册人员 http://jzsc.mohurd.gov.cn/dataservice/query/comp/regStaffList/001607220057270586 #工程项目 http://jzsc.mohurd.gov.cn/dataservice/query/comp/compPerformanceListSys/001607220057270586
2、第一层数据框架 (资质类型) 序号(serial_number) 统一社会信用代码(credit_code) 企业名称(enterprise_name) 企业法定代表人(legal_person) 企业注册属地(place_of_registration) 企业编号(详细信息链接编号enterprise_coding)
数据框架(资质) 序号 企业名称 资质类别 资质证书号 资质名称
数据框架(人员) 企业名称 全部（35） 其中： 一级注册建筑师（5） 二级注册建筑师（2） 一级注册结构工程师（7） 注册公用设备工程师（暖通空调）（2） 注册公用设备工程师（给水排水）（7） 注册公用设备工程师（动力）（2） 注册电气工程师（供配电）（3） 一级注册建造师（3） 二级注册建造师（1） 注册造价工程师（3)
数据框架(业绩) 序号 企业名称 项目编码 项目名称 项目属地 项目类别 建设单位 数据框架(项目信息)
3、数据范围(资质)： 工程设计风景园林工程专项甲级 A505A 工程设计建筑行业（建筑工程）甲级 A32101A 工程设计市政行业桥梁工程专业甲级 A31706A 工程设计市政行业道路工程专业甲级 A31705A 工程设计市政行业城市隧道工程专业甲级 A31707A 工程设计市政行业乙级 A217B
4、数据存储： 各专业数据小于5万条记录： csv文件存储 资质类型 A505A.csv 企业资质 caDetailList.csv 注册人员 regStaffList.csv 工程项目 compPerformanceListSys.csv csv文件名称
5、分析内容 分析四川地区与我公司资质相同的企业,人员配置和业绩情况。 根据该企业业绩分析项该公司主营业务地区及主营业务属于哪个类别并于建设单位关系
6、生产数据和报表 报表