北京二手房在线数据采集

使用 Python 3.5 的 asyncio + aiohttp

链家二手房在线数据

    requirements
    使用Python 3.5及以上版本，建议安装以下依赖包
    ==========
    Python3.5
    requests
    lxml
    tqdm
    pandas
    asyncio
    aiohttp

    parameters
    ==========
    params : str
        筛选条件，具体参数在官网查询
        例如：sf1co21tf1p4p5表示“价格300-500万之间、满五唯一/满二的普通住宅”
    field : dict
        可选区域：东城, 西城, 朝阳, 海淀, 丰台, 石景山,
        通州, 昌平, 大兴, 亦庄开发区, 顺义, 房山, 门头沟,
        平谷, 怀柔, 密云, 延庆, 燕郊
    field_name : str
        区域名称，显示在输出文件名
    header : str
        区域url链接
    page_all : int
        全部页数
    page_info : list
        需要的信息列表，输出文件后，替换为最终Dataframe
    sem : asyncio.Semaphore
        协程锁
    headers : dict
        Http get请求头
    columns : list
        pandas Dataframe字段名称
    new_columns : list
        输出excel文件字段名称

from linkedhome import LinkedHome
home = LinkedHome('haidian') # 初始化区域
home.get_all() # 获取数据
home.clean_data() # 清洗数据

存量房交易服务平台数据

python audit_house_list.py

本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 **大陆许可协议进行许可。

muxuezi/lianjia

北京二手房在线数据采集