Scrapy VS requests+beautifulsoup
- 1.
requests
和beautifulsoup
都是库,scrapy
是框架 - 2.
scrapy
框架中可以加入requests
和beautifulsoup
- 3.
scrapy
基于twisted
,性能是最大的优势 - 4.
scrapy
方便拓展,提供了很多内置的功能 - 5.
scrapy
内置的css
和xpath selector
非常方便,beautifulsoup
最大的缺点就是慢
爬虫能做什么
- 1.搜索引擎:百度、Google
- 2.推荐引擎:今日头条
- 3.机器学习的数据样本
- 4.数据分析、舆情分析等