第4天-爬虫进阶篇

• 另一条路便是学习一些优秀的框架，先把这些框架用熟，可以确保能够应付一些基本的爬虫任务，也就是所谓的解决温饱问题（企业用人要求），然后再深入学习它的源码等知识，进一步强化。

爬虫框架，其中比较好用的是 Scrapy 和 PySpider。

• Scrapy

  优点：自定义程度高，比 PySpider更底层一些，适合学习研究，需要学习的相关知识多，拿来研究分布式和多线程等等是最合适不过的。

Scrapy

官方文档：

http://doc.scrapy.org/en/latest/intro/tutorial.html

豆瓣Python小组：

企业招聘要求：