不会飞的章鱼

熟能生巧,勤能补拙;念念不忘,必有回响。

爬虫基础-技术选型

Scrapy VS requests+beautifulsoup

  • 1.requestsbeautifulsoup都是库,scrapy是框架
  • 2.scrapy框架中可以加入requestsbeautifulsoup
  • 3.scrapy基于twisted,性能是最大的优势
  • 4.scrapy方便拓展,提供了很多内置的功能
  • 5.scrapy内置的cssxpath selector非常方便,beautifulsoup最大的缺点就是慢

爬虫能做什么

  • 1.搜索引擎:百度、Google
  • 2.推荐引擎:今日头条
  • 3.机器学习的数据样本
  • 4.数据分析、舆情分析等
------ 本文结束------
如果本篇文章对你有帮助,可以给作者加个鸡腿~(*^__^*),感谢鼓励与支持!