/ckcest-spider

工程科技知识中心数据采集

Primary LanguagePython

科技辅助评估系统数据采集

科技辅助评估系统数据采集

1. 功能介绍

域名 http://www.ckcest.cn/

采集 专家、项目、专利、文献、新闻

2. 安装与部署

3. 使用说明

  1. 高级搜索接口需要携带Cookie请求,使用selenium 获取cookie;
  2. 人物详情数据在JS中,需要URL Decode;
  3. 人物详情页封IP

4. 附录

5. 相关技术

  1. redisbloomfilter 布隆过滤器
  2. loguru 日志模块
  3. OpenCC 繁转简
  4. selenium 获取cookie
  5. URL encode decode
  6. requests_html

5. 项目相关人员

  • ZuoWei