/webCrawler1st

第一个爬虫

Primary LanguagePython

webCrawler1st

hello, 这是我今年6月初做的一个小爬虫。主要爬取了知乎回答“如何备考GRE才能拿高分”下的290+回答,并且对结果做了数据处理和展示。 附带了使用wordcloud和jieba分词和展示的python文件。 另外附带了学习过程中爬取豆瓣top250的python文件。 附带了后续 还有一个尝试使用selenium的python文件。 总结起来,小范围爬取知乎携带cookies和useragent就够用了。