常见问题(FAQ)

    Scrapy提供了内置的机制来提取数据(叫做选择器(selectors))。但如果您觉得使用更为方便，也可以使用 (或 lxml)。总之，它们仅仅是分析库，可以在任何Python代码中被导入及使用。

    换句话说，拿Scrapy与 (或 lxml) 比较就好像是拿 与 Django 相比。

    Scrapy支持那些Python版本？

    Scrapy仅仅支持Python 2.7。Python2.6的支持从Scrapy 0.20开始被废弃了。

    Scrapy支持Python 3么？

    不。但是Python 3.3+的支持已经在计划中了。现在，Scrapy支持Python 2.7。

    参见

    .

    Scrapy是否从Django中”剽窃”了X呢？

    也许吧，不过我们不喜欢这个词。我们认为 是一个很好的开源项目，同时也是一个很好的参考对象，所以我们把其作为Scrapy的启发对象。

    我们坚信，如果有些事情已经做得很好了，那就没必要再重复制造轮子。这个想法，作为开源项目及免费软件的基石之一，不仅仅针对软件，也包括文档，过程，政策等等。所以，与其自行解决每个问题，我们选择从其他已经很好地解决问题的项目中复制想法(copy idea)，并把注意力放在真正需要解决的问题上。

    如果Scrapy能启发其他的项目，我们将为此而自豪。欢迎来抄(steal)我们！

    Scrapy支持HTTP代理么？

    是的。(从Scrapy 0.8开始)通过HTTP代理下载中间件对HTTP代理提供了支持。参考.

    如何爬取属性在不同页面的item呢？

    参考 Passing additional data to callback functions.

    Scrapy退出，ImportError: Nomodule named win32api

    这是个Twisted bug ，您需要安装 。

    我要如何在spider里模拟用户登录呢?

    参考 .

    Scrapy是以广度优先还是深度优先进行爬取的呢？

    默认情况下，Scrapy使用 队列来存储等待的请求。简单的说，就是深度优先顺序 。深度优先对大多数情况下是更方便的。如果您想以 进行爬取，你可以设置以下的设定:

    我的Scrapy爬虫有内存泄露，怎么办?

    参考 .

    另外，Python自己也有内存泄露，在Leaks without leaks 有所描述。

    我能在spider中使用基本HTTP认证么？

    可以。参考 HttpAuthMiddleware.

    为什么Scrapy下载了英文的页面，而不是我的本国语言？

    尝试通过覆盖 设置来修改默认的 Accept-Language 请求头。

    我能在哪里找到Scrapy项目的例子？

    参考 例子.

    我能在不创建Scrapy项目的情况下运行一个爬虫(spider)么？

    是的。您可以使用 runspider 命令。例如，如果您有个spider写在 my_spider.py 文件中，您可以运行:

    1. scrapy runspider my_spider.py

    详情请参考 命令。

    我收到了 “Filtered offsite request” 消息。如何修复？

    这些消息(以 DEBUG 所记录)并不意味着有问题，所以你可以不修复它们。

    这些消息由Offsite Spider中间件(Middleware)所抛出。该(默认启用的)中间件筛选出了不属于当前spider的站点请求。

    更多详情请参见:.

    发布Scrapy爬虫到生产环境的推荐方式？

    参见 .

    我能对大数据(large exports)使用JSON么？

    这取决于您的输出有多大。参考JsonItemExporter 文档中的

    我能在信号处理器(signal handler)中返回(Twisted)引用么？

    有些信号支持从处理器中返回引用，有些不行。参考 来了解详情。

    reponse返回的状态值999代表了什么?

    999是雅虎用来控制请求量所定义的返回值。试着减慢爬取速度，将spider的下载延迟改为 2 或更高:

    或在 中设置项目的全局下载延迟。

    可以，但你也可以使用Scrapy终端。这能让你快速分析(甚至修改)spider处理返回的返回(response)。通常来说，比老旧的 pdb.set_trace() 有用多了。

    更多详情请参考 在spider中启动shell来查看response.

    将所有爬取到的item转存(dump)到JSON/CSV/XML文件的最简单的方法?

    dump到JSON文件:

    1. scrapy crawl myspider -o items.json

    dump到XML文件:

    1. scrapy crawl myspider -o items.xml

    更多详情请参考 Feed exports

    在某些表单中巨大神秘的 __VIEWSTATE 参数是什么？

    __VIEWSTATE 参数存在于ASP.NET/VB.NET建立的站点中。关于这个参数的作用请参考这篇文章 。这里有一个爬取这种站点的 。

    分析大XML/CSV数据源的最好方法是?

    使用XPath选择器来分析大数据源可能会有问题。选择器需要在内存中对数据建立完整的DOM树，这过程速度很慢且消耗大量内存。

    为了避免一次性读取整个数据源，您可以使用scrapy.utils.iterators 中的 及 csviter 方法。实际上，这也是feed spider(参考 )中的处理方法。

    Scrapy自动管理cookies么？

    是的，Scrapy接收并保持服务器返回来的cookies，在之后的请求会发送回去，就像正常的网页浏览器做的那样。

    更多详情请参考 及 CookiesMiddleware 。

    如何才能看到Scrapy发出及接收到的Scrapy呢？

    启用 COOKIES_DEBUG 选项。

    要怎么停止爬虫呢?

    在回调函数中raise CloseSpider 异常。更多详情请参见: 。

    如何避免我的Scrapy机器人(bot)被禁止(ban)呢？

    参考 .

    我应该使用spider参数(arguments)还是设置(settings)来配置spider呢？

    及 设置(settings) 都可以用来配置您的spider。没有什么强制的规则来限定要使用哪个，但设置(settings)更适合那些一旦设置就不怎么会修改的参数，而spider参数则意味着修改更为频繁，在每次spider运行都有修改，甚至是spider运行所必须的元素(例如，设置spider的起始url)。

    这里以例子来说明这个问题。假设您有一个spider需要登录某个网站来爬取数据，并且仅仅想爬取特定网站的特定部分(每次都不一定相同)。在这个情况下，认证的信息将写在设置中，而爬取的特定部分的url将是spider参数。

    我爬取了一个XML文档但是XPath选择器不返回任何的item

    也许您需要移除命名空间(namespace)。参见 移除命名空间.

    这是由于Scrapy修改，去掉了单例模式(singletons)所引起的。这个错误一般是由从 scrapy.project 导入 crawler 的模块引起的(扩展，中间件，pipeline或spider)。例如:

    这种访问crawler对象的方式已经被舍弃了，新的代码应该使用 类方法来移植，例如:

    1. class SomeExtension(object):
    2.  
    3.     @classmethod
    4.     def from_crawler(cls, crawler):
    5.         o = cls()
    6.         o.crawler = crawler
    7.         return o

    Scrapy终端工具(command line tool)针对旧的导入机制提供了一些支持(给出了废弃警告)，但如果您以不同方式使用Scrapy(例如，作为类库)，该机制可能会失效。