信号(Signals)

    虽然信号提供了一些参数，不过处理函数不用接收所有的参数 -信号分发机制(singal dispatching mechanism)仅仅提供处理器(handler)接受的参数。

    有些信号支持从处理器返回 Twisted deferreds ，参考下边的 来了解哪些支持。

    内置信号参考手册(Built-in signals reference)

    engine_started()

    当Scrapy引擎启动爬取时发送该信号。

    该信号支持返回deferreds。

    注解

    engine_stopped

    scrapy.signals.engine_stopped()

    当Scrapy引擎停止时发送该信号(例如，爬取结束)。

    该信号支持返回deferreds。

    item_scraped

    scrapy.signals.itemscraped(_item, response, spider)

    当item被爬取，并通过所有Item Pipeline 后(没有被丢弃(dropped)，发送该信号。

    该信号支持返回deferreds。


    scrapy.signals.itemdropped(_item, exception, spider)

    当item通过 Item Pipeline ，有些pipeline抛出 异常，丢弃item时，该信号被发送。

    该信号支持返回deferreds。

    参数:
    - item (dict 或 Item 对象) – 丢弃的item
    - spider (Spider 对象) – 爬取item的spider
    - exception (DropItem 异常) – 导致item被丢弃的异常(必须是 的子类)

    spider_closed

    spiderclosed(_spider, reason)

    当某个spider被关闭时，该信号被发送。该信号可以用来释放每个spider在spider_opened 时占用的资源。

    该信号支持返回deferreds。

    参数:
    - spider (Spider 对象) – 关闭的spider
    - reason (str) – 描述spider被关闭的原因的字符串。如果spider是由于完成爬取而被关闭，则其为'finished' 。否则，如果spider是被引擎的 close_spider 方法所关闭，则其为调用该方法时传入的reason 参数(默认为 'cancelled')。如果引擎被关闭(例如，输入Ctrl-C)，则其为 'shutdown' 。

    spider_opened

    scrapy.signals.spideropened(_spider)

    当spider开始爬取时发送该信号。该信号一般用来分配spider的资源，不过其也能做任何事。

    该信号支持返回deferreds。


    scrapy.signals.spideridle(_spider)

    当spider进入空闲(idle)状态时该信号被发送。空闲意味着:





    当该信号的所有处理器(handler)被调用后，如果spider仍然保持空闲状态，引擎将会关闭该spider。当spider被关闭后， spider_closed 信号将被发送。

    您可以，比如，在 处理器中调度某些请求来避免spider被关闭。

    该信号 不支持 返回deferreds。

    参数:spider (Spider 对象) – 空闲的spider

    spider_error

    scrapy.signals.(_failure, response, spider)

    当spider的回调函数产生错误时(例如，抛出异常)，该信号被发送。

    参数:
    - failure (Failure 对象) – 以Twisted 对象抛出的异常
    - response (Response 对象) – 当异常被抛出时被处理的response
    - spider (Spider 对象) – 抛出异常的spider

    request_scheduled

    scrapy.signals.requestscheduled(_request, spider)

    当引擎调度一个 对象用于下载时，该信号被发送。

    该信号 不支持 返回deferreds。


    scrapy.signals.responsereceived(_response, request, spider)

    当引擎从downloader获取到一个新的 时发送该信号。

    该信号 不支持 返回deferreds。

    参数:
    - response (Response 对象) – 接收到的response
    - request ( 对象) – 生成response的request
    - spider (Spider 对象) – response所对应的spider

    response_downloaded

    scrapy.signals.responsedownloaded(_response, request, spider)

    当一个 HTTPResponse 被下载时，由downloader发送该信号。

    该信号 不支持 返回deferreds。

    参数:
    - response (Response 对象) – 下载的response
    - request ( 对象) – 生成response的request
    - spider (Spider 对象) – response所对应的spider