关于使用scrapy_redis组件没有存取scrapy的请求到redis数据库的问题的解决
阅读原文时间:2021年04月20日阅读:1

发现在使用scrapy_redis组件时,运行爬虫时,在redis数据库里面只有items数据列表和去重指纹集合,但没有scrapy的请求request数据列表,经过不断测试,发现只有在停止爬虫爬取时,才可以在redis数据库里面看到scrapy的request数据列表。

爬取前的redis数据库,里面内容为空。

数据爬取中时,观察发现只有Items和dupefilter数据,但没有scrapy request数据。

停止爬虫时,发现redis数据库里面已经有items dupefilter 和 request数据。

总结:其实redis里面是有请求队列request的,只不过请求的数量是动态变化的,如果请求数量为空则会在redis可视化桌面工具看不到的。

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章