问答网

当前位置: 首页 > 知识问答 > gxe是什么意思

gxe是什么意思

知识问答 浏览6次

英文缩写GXE,英文全称:gorilla execution engine,中文解释:大猩猩执行引擎

ExecutionEngine是scrapy的核心模块之一,顾名思义是执行引擎。它驱动了整个爬取的开始,进行,关闭。它又使用了如下几个主要模块来为其工作:

1、slot:它使用Twisted的主循环reactor来不断的调度执行Engine的"_next_request"方法,这个方法也是核心循环方法。

2、downloader:下载器。主要用于网页的实际下载

3、scraper:数据抓取器。主要用于从网页中抓取数据的处理。也就是ItemPipeLine的处理。