【请合理理性使用Scrapy，请遵循当地的法律法规，务必用在合法的地方，切勿违法乱纪】

【视频制作精良，音频和视频都经过后续处理】

【视频长度控制在10分钟左右，细致讲解每节课程知识点】

【课程涵盖CrawlSpider、Pipeline、ProxyIP的知识点，进阶爬虫必备】

轻松驾驭Scrapy，熟练地爬取网页信息

Scrapy实战进阶课程，轻松入门爬虫，教你学到如何从图片展上批量下载图片

1、Python入门教学，实现python开发入门到精通；

2、Scrapy项目进阶实战，详细讲解CrawlSpider使用；

3、链接网站反爬措施，学习代理IP的使用

4、掌握Scrapy图片管道的使用

Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 [1]

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。

Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。

Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。

Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。

Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。