house-map.cn)

这是什么?爬虫+高德地图驱动的找租房平台

爬虫全天不间断获取公开租房信息,汇总处理分析后落地到数据库中.
使用高德地图API直接在地图上展示房源位置,方便查看租房地理位置,同时提供住址到公司的路线计算（公交+地图 or 步行导航）以及预估耗时.
通过实时爬虫获取公开租房信息，直接在高德地图上直观展示房源位置+基础信息，同时提供住址到公司的路线计算（公交+地图 or 步行导航），已实现【豆瓣租房小组】、【豆瓣租房小程序】、【Zuber合租】、【蘑菇租房】、【CCB建融家园】、【58同城品牌公寓】、【Hi住租房】、【房多多】、【贝壳租房】、【v2ex租房帖子】、【上海互助租房】等房源信息数据爬取，部分房源价格支持筛选功能。
支持个人收藏房源信息,以便筛选自己合适的房子.

使用教程

日常更新

一些技巧

项目代码介绍

前端House-Map.UI

vue.js 冻爷Erane 已全部完成

API+爬虫

House-Map.Crawler(当前维护版本)
基于dotnet core 2.2,使用了 dapper ,RestSharp , Jieba.net, NEST...
数据库使用 MySQL, 缓存使用redis
House-Map.Crawler/src项目为爬虫代码
House-Map.Crawler/API项目为API代码
House-Map.Crawler/node-proxy项目为某些API的服务转发/解密
每个项目都支持Docker打包,都可以自行打包独立使用
由于单服务器爬虫比较低效,简单改造成分布式爬虫, 所有的爬虫均通过crawler项目中暴露API供外部启动
CI自动化发布使用Jenkins +Docker(这部分有兴趣可以看下:手把手教你用Jenkins做Docker自动化发布)
appsetting.json配置和初始化MySQL脚本

appsetting.json配置如下:

    {
    "MySQLConnectionString": "server=mysql地址;port=端口号;database=数据库名字;uid=账号;pwd=密码;charset='utf-8';Allow User Variables=True;Connection Timeout=30;SslMode=None;",
    "RedisConnectionString": "redis数据库地址:端口,name=名字,keepAlive=1800,syncTimeout=10000,connectTimeout=360000,password=访问密码,ssl=False,abortConnect=False,responseTimeout=360000,defaultDatabase=1",
    "EmailAccount": "QQ邮箱账号",
    "EmailPassword": "QQ邮箱密码",
    "EmailSMTPDomain": "smtp.qq.com",
    "EmailSMTPPort": 587,
    "SenderAddress": "QQ邮箱账号",
    "ReceiverAddress": "QQ邮箱账号",
    "ReceiverName": "liguobao-test",
    "EncryptionConfigCIV": "加密向量,16个16进制数字",
    "EncryptionConfigCKEY": "加密秘钥,16个16进制数字"
}