本项目通过httpclient手段爬取国家统计局行政区划代码,通过getContent()获取html页面内容,再进行剪切,提取内容;
国家统计局 http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/ **民政部 http://www.mca.gov.cn/article/sj/xzqh/2018/ 百度百科 https://baike.baidu.com/item/%E8%A1%8C%E6%94%BF%E5%8C%BA%E5%88%92%E4%BB%A3%E7%A0%81/5650987?fr=aladdin
java爬取国家统计局 https://www.baidu.com/s?wd=java%E7%88%AC%E5%8F%96%E5%9B%BD%E5%AE%B6%E7%BB%9F%E8%AE%A1%E5%B1%80&rsv_spt=1&rsv_iqid=0xf7aeb40600003795&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=1&oq=httpclient%25E8%25AE%25BE%25E7%25BD%25AEcookie&inputT=8982&rsv_t=77beqOUULKqla6sRDyY9I9ItsTAmvxLzTJebjK2g1U7RIv9oIoEu5iiDBC5P4yuZr2dr&rsv_pq=faa6d2b100032117&rsv_sug3=227&rsv_sug1=131&rsv_sug7=100&rsv_n=2&bs=httpclient%E8%AE%BE%E7%BD%AEcookie 使用java爬取国家统计局的12位行政区划代码 https://blog.csdn.net/xiongchun11/article/details/53261948 java 抓取2016年统计用区划代码和城乡划分代码 https://blog.csdn.net/Brian200911/article/details/74928106?locationNum=9&fps=1 2018全国省市县区最新编码Mysql导入语句 https://download.csdn.net/download/yyl388569/10266247
https://github.com/Vonng/adcode
最新行政区划代码省市区数据库(2018年11月1日 ) https://www.cnblogs.com/zengxiangzhan/p/area.html
问题是网站有反爬虫,所以需要模拟浏览器操作的方式,在http请求头添加cookie,最好在sleep几秒
HttpClient(一)HttpClient抓取网页基本信息 https://www.cnblogs.com/zhangyinhua/p/8038377.html HttpClient学习整理 https://www.cnblogs.com/ITtangtang/p/3968093.html Cookies,SSL,httpclient的多线程处理,HTTP方法 https://blog.csdn.net/bjbs_270/article/details/168233
httpclient4.5获取和设置cookie https://blog.csdn.net/z69183787/article/details/78629388