开篇声明 文章讲解源码不一定从入口开始   主题更注重 思路讲解以及核心函数   ok?  废话到此为止

/scrapy/downloadermiddlewares/  文件夹下是下载器的 中间件  简单说就是 你请求 or  返回数据都经过他

其中

def process_response(self, request, response, spider):处理返回数据

def process_request(self, request, spider): 处理请求数据

def from_crawler(cls, crawler): 先调用他 再调用 __init__

scrapy/downloadermiddlewares/redirect.py  重定向中间件

class RedirectMiddleware(BaseRedirectMiddleware): 这个是服务器重定向