/web_scraping_and_data_analysis

网络爬虫和数据分析,当当、豆瓣、知乎、猫眼、微信公众号、联想官网、今日头条爬虫

Primary LanguagePythonMIT LicenseMIT

网络爬虫和数据分析

豆瓣

豆瓣相关的网络爬虫和数据分析

  • 目录:douban
  • 内容:
    • 豆瓣电影评论抓取

知乎

知乎相关的网络爬虫和数据分析

  • 目录:zhihu
  • 内容:
    • 获取某问题的所有答案
    • 获取话题讨论、精华下的问题和答案
    • 数据分析

当当网

当当网相关的网络爬虫和分析

  • 目录:dangdang
  • 内容:
    • 获取当当图书的所有分类

猫眼

猫眼网相关的网络爬虫和分析

  • 目录:maoyan
  • 内容:
    • 获取某电影的所有评论
    • 根据获取的评论生成词云图片
    • 根据评论按日期汇总统计图表
    • 根据评论按日期分析情感评分

微信

微信公众号相关的网络爬虫和分析

  • 目录:weixin
  • 内容:
    • 获取公众号的所有文章
    • 根据获取数据绘制时间序列图

联想

联想官网相关的网络爬虫和分析

  • 目录:Lenovo
  • 内容:
    • 批量下载某型号的所有驱动

今日头条

今日头条相关的网络爬虫和分析

  • 目录:toutiao
  • 内容:
    • 获取热门新闻标题

爱奇艺

爱奇艺相关的网络爬虫和分析

  • 目录:iqiyi
  • 内容:
    • 获取某视频的所有评论
    • 根据评论分析生词云和性别柱状图