/ctrip_QA_data

爬取携程问答数据

Primary LanguagePython

爬取携程问答数据

实现方法

  • 使用requests下载网页
  • 使用BeautifulSoup解析网页
  • 使用threading实现多线程

起始地址:http://you.ctrip.com/asks/topics.html

  • 从专题页获取标签地址
  • 从标签页获取问题地址
  • 从问题地址爬取问答数据

共爬取问答数据132MB(压缩后)。若改进爬取方法,应该能爬取更多数据。

问答数据举例

[地址] http://you.ctrip.com/asks/jiuzhaigou25/3957563.html

[标题] 6月份九寨沟游客多吗?

[内容] 请问下个月去九寨沟,游客多吗?想2次进沟,大家有什么好建议么?谢谢!

[标签] 九寨沟, 6月

[回答 0] 您好,6月去九寨沟,这个时候去九寨沟,游人不会非常多的.除了黄金周,一般平时不需要预定门票,可以到时候去买门票,住宿建议提前预订好!二次进沟的话要购两次门票的,建议选择住宿沟内藏民家一晚,这样可以逃第二天门票!

[回答 1] 你好,朋友!  6月份相比7,8月份人还不是很多,6月份有时间的话可以过来。想二次进沟可以选择住一晚沟内,节约景区门票嘛。提供两天进沟游览路线:第一天路线规划:长海——五彩池——则查洼寨——诺日朗中心站诺日朗中心站——原始森林——箭竹海——熊猫海——五花海——珍珠滩(徒步)——珍珠滩瀑布——镜海第二天路线规划:箭竹海——熊猫海——五花海——珍珠滩(坐车)——诺日朗中心站            诺日朗中心站(坐车)——犀牛海——老虎海——树正瀑布——树正群海——卧龙海——火花海——芦苇海——盆景海如果以上线路能帮助到你,记得采纳哦,需要包车也可以联系我哟,谢谢!

[回答 2] 你好,6月去九寨沟,这个时候去九寨沟,游人不会非常多的.除了黄金周,一般平时不需要预定门票,可以到时候去买门票,住宿建议提前预订好.可以住沟里一晚上。

[回答 3] 6月份游客还不是很多,一万多左右。想2次进沟,晚上可以住沟内。

...