首页技术文章正文

python Scrapy框架的工作流程介绍

更新时间:2020-12-11 来源:黑马程序员 浏览量:

1577370495235_学IT就到黑马程序员.gif

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量代码,就能够快速的抓取到数据内容。Scrapy使用了Twisted异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求。


Scrapy框架的工作流程

1.首先Spiders(爬虫)将需要发送请求的url(requests)经ScrapyEngine(引擎)交给Scheduler(调度器)。

2.Scheduler(排序,入队)处理后,经ScrapyEngine,DownloaderMiddlewares(可选,主要有User_Agent, Proxy代理)交给Downloader。

3.Downloader向互联网发送请求,并接收下载响应(response)。将响应(response)经ScrapyEngine,SpiderMiddlewares(可选)交给Spiders。

4.Spiders处理response,提取数据并将数据经ScrapyEngine交给ItemPipeline 保存(可以是本地,可以是数据库)。提取url重新经ScrapyEngine交给Scheduler进行下一个循环。直到无Url请求程序停止结束。、


猜你喜欢:

python爬虫是什么?

多线程爬虫是什么?多线程爬虫流程分析

爬虫开发必学的8个技巧

Python+数据分析培训课程

分享到:
在线咨询 我要报名
和我们在线交谈!