scrapy清空内存中的去重缓存
# 清空内存中的去重缓存,防止对下一次调度造成干扰 logger.info("清空内存去重缓存...") fingerprints = spider.crawler.engine.slot.scheduler.df.fingerprints fingerprints.clear()

# 清空内存中的去重缓存,防止对下一次调度造成干扰
logger.info("清空内存去重缓存...")
fingerprints = spider.crawler.engine.slot.scheduler.df.fingerprints
fingerprints.clear()