Scrapy 核心配置记录

scrapy.downloadermiddlewares.retry.RetryMiddleware 中间件,几个参数进行配置:

参数配置

RETRY_ENABLED: 是否开启retry
RETRY_TIMES: 重试次数
RETRY_HTTP_CODECS: 遇到什么http code时需要重试,默认是500,502,503,504,408,其他的,网络连接超时等问题也会自动retry的

发表评论