scrapy基于请求传参实现深度爬取
阅读原文时间:2023年07月09日阅读:4
  • 请求传参:

    • 实现深度爬取:爬取多个层级对应的页面数据

    • 使用场景:爬取的数据没有在同一张页面中

    • 在手动请求的时候传递item:yield scrapy.Request(url,callback,meta={'item':item})

      • 将meta这个字典传递给callback

      • 在callback中接收meta:item = response.meta['item']

        def parse(self, response):
        li_list = response.xpath('/html/body/div[1]/div/div/div/div[2]/ul/li')
        for li in li_list:
        title = li.xpath('./div[1]/a/@title').extract_first()
        detail_url = 'https://www.4567tv.tv' + li.xpath('./div[1]/a/@href').extract_first()
        item = MoviespiderItem()
        item['title'] = title
        # meta参数是一个字典,该字典就可以传递给callback指定的回调函数
        yield scrapy.Request(detail_url, callback=self.parse_detail, meta={"item": item})

        def parse_detail(self, response):
        # 接收meta:response.meta
        item = response.meta['item']
        desc = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[5]/span[2]/text()').extract_first()
        item["desc"] = desc
        yield item

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章