Scrapy VS requests+beautifulsoup
- 1.
requests和beautifulsoup都是库，scrapy是框架 - 2.
scrapy框架中可以加入requests和beautifulsoup - 3.
scrapy基于twisted，性能是最大的优势 - 4.
scrapy方便拓展，提供了很多内置的功能 - 5.
scrapy内置的css和xpath selector非常方便，beautifulsoup最大的缺点就是慢
爬虫能做什么
- 1.搜索引擎：百度、Google
- 2.推荐引擎：今日头条
- 3.机器学习的数据样本
- 4.数据分析、舆情分析等
