python的scrapy框架的使用和xpath的使用 && scrapy中request和response的函数参数 && parse()函数运行机制

阅读原文时间：2023年07月08日阅读：1

这篇博客主要是讲一下scrapy框架的使用，对于糗事百科爬取数据并未去专门处理

最后爬取的数据保存为json格式

一、先说一下pyharm怎么去看一些函数在源码中的代码实现

按着ctrl然后点击函数就行了

先给出项目的目录：

二、先说一下setting.py文件中一些变量的含义

BOT_NAME = 'qsbk'

定义一下这个项目的根

以后想要把这个项目某一个文件中的某个内容导入到其他文件，就可以以“qsbk.文件名”来实现

例如：

from qsbk.items import QsbkItem

这个意思就是将qsbk目录下的items.py文件中的QsbkItem类导入到此文件中

# 如果它的值为True，那么网站上没有爬虫协议，那么程序就会什么都不执行就停止运行
ROBOTSTXT_OBEY = False

DOWNLOAD_DELAY = 3 # 下载延迟打开，一方面防止ip被封，另一方面也不要给网站服务器太大压力

# 设置默认请求头
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
'user-agent': ''
}

ITEM_PIPELINES = {
'qsbk.pipelines.QsbkPipeline': 300, # 通过管道输出数据，不解除这个注释，就不会运行pipelines.py一部分代码
# 值越小，优先级越高
}

携带cookie登录

# 后续的请求会自动携带之前的cookie (setting.py配置文件中不要禁用cookie，值为True)

禁用cookie (默认开启cookie)

COOKIES_ENABLED = False

COOKIES_DEBUG = True # 开启cookie的调试信息

二、start.py文件

因为每次执行scrapy都需要在命令行下执行，用惯了pycharm之后看着不太习惯，所以这个文件就是代替在命令行下输入执行爬虫命令，它的执行结果也会在pycharm上显示，这样就不用每次打开cmd去运行scrapy的爬虫程序了

start.py内容：

from scrapy import cmdline

qsbk_spider是你的爬虫程序文件，注意要把这个命令用split拆开

cmdline.execute("scrapy crawl qsbk_spider".split())

三、Item.py文件内容

import scrapy

class QsbkItem(scrapy.Item):
# 这个是固定写法，也就是给QsbkItem类定义两个变量
# Item是爬虫爬取到数据后，传递给管道去存储数据的单位。传递给管道pipelines.py的Item也可以是字典形式
# 可以自己定义字典，最后返回这个字典也可以，（返回什么数据可以根据自己喜好，你也可以返回列表）
author = scrapy.Field()
content = scrapy.Field()

四、pipelines.py文件****

我们使用scrapy内置类来完成导出数据，可见这个类可以自动把item变成字典，所以我们就不用去多处理

同时在这个文件中有三个函数，其中两个open_spider和close_spider文件中没有给我们定义，我们需要自己定义。这两个函数一个在爬虫开始时执行，一个在爬虫执行结束时执行

文件代码：

'''
下面给出两种不同类型的内置保存数据方式，请根据需求使用
当然也可以不使用内置函数来保存数据，可以自己写
'''

from scrapy.exporters import JsonItemExporter

每次会把数据放在内存，最后在一次性写入文件，存储的是一个josn类型的文件

坏处是比较耗费内存

class QsbkPipeline:

def init(self):

self.fp = open('duanzi.json','wb')

self.exporter = JsonItemExporter(self.fp,ensure_ascii=False,encoding='utf-8')

self.exporter.start_exporting()

def open_spider(self):

print('爬虫开始了')

def process_item(self, item, spider):

self.exporter.export_item(item)

return item

def close_spider(self):

self.exporter.finish_exporting()

self.fp.close()

print('爬虫结束了')

from itemadapter import ItemAdapter

每次调用export_item就会把itrm存放在磁盘，坏处是每一次字典是一行，整个文件不是一个字典，好处是

每次写入磁盘，不会占用大量内存

from scrapy.exporters import JsonLinesItemExporter
class QsbkPipeline:
def __init__(self):
self.fp = open('duanzi.json','wb')
self.exporter = JsonLinesItemExporter(self.fp,ensure_ascii=False,encoding='utf-8')
# self.exporter.start_exporting()

def open\_spider(self,spider):  # 爬虫开始的时候会执行  
    print('爬虫开始了')

def process\_item(self, item, spider): # 当有item输出传来的时候会执行  
    # 这样的话我们就不需要先将item转换为字典形式再去保存，我们可以直接传给导出器exporter  
    self.exporter.export\_item(item)  
    # 只有下面return了，我们才可以对下一个item进行操作  
    return item

def close\_spider(self,spider):  # 爬虫结束会执行  
    # self.exporter.finish\_exporting()  
    self.fp.close()  
    print('爬虫结束了')

五、qsbk_spider文件

import scrapy
from scrapy.http.response.html import HtmlResponse
from scrapy.selector.unified import SelectorList
from qsbk.items import QsbkItem

class QsbkSpiderSpider(scrapy.Spider):
name = 'qsbk_spider' # 同一类爬虫名字要相同，以便于命令行下运行
allowed_domains = ['qiushibaike.com'] # 控制爬虫范围，以访爬虫通过其他链接，爬到其他网站
# start_url可以传一个url也可以多个，这个url会传给引擎，然后引擎会传给调度器，调度器又会处理后传到
# 引擎，之后引擎传给下载器，下载器将数据又通过引擎传递到爬虫的parse函数，它的参数response就是返回的数据
start_urls = ['https://www.qiushibaike.com/text']
base_url = 'https://www.qiushibaike.com'

def parse(self, response):  
    # selectorlist  
    duanzidivs = response.xpath('//\*\[@id="content"\]/div/div\[2\]/div') #获取包含所有段子的div  
    for duanzidiv in duanzidivs:  
        # selector  
        # get()方法回去的是selector的第一个文本，get\_all()获取的是所有文本  
        author = duanzidiv.xpath(".//div\[1\]/a\[2\]/h2/text()").get().strip()  
        content = duanzidiv.xpath(".//a\[1\]/div/span\[1\]/text()").getall() # getall方法会将所有文本信息转变成一个队列，然后转换成一个字段  
        content = ".".join(content).strip() # strip方法就是消除content字符串前后行  
        item = QsbkItem(author=author,content=content)  
        yield item  # 让这个函数变成一个生成器函数  
    # 找到下一页按钮，并提取出里面href的内容，之后链接拼接形成新的url  
    next\_url = response.xpath('//\*\[@id="content"\]/div/div\[2\]/ul/li\[8\]/a/@href').get()  
    if not next\_url:  
        return  
    else:  
        yield scrapy.Request(self.base\_url+next\_url,callback=self.parse)

六、xpath的简单使用

1、选取节点

表达式

描述

实例

nodename

选取nodename节点的所有子节点

xpath(‘//div’)

选取了div节点的所有子节点

从根节点选取

xpath(‘/div’)

从根节点上选取div节点

选取所有的当前节点，不考虑他们的位置

xpath(‘//div’)

选取所有的div节点

选取当前节点

xpath(‘./div’)

选取当前节点下的div节点

选取当前节点的父节点

xpath(‘..’)

回到上一个节点

选取属性

xpath（’//@calss’）

选取所有的class属性

2、嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点

表达式

结果

xpath(‘/body/div[1]’)

选取body下的第一个div节点

xpath(‘/body/div[last()]’)

选取body下最后一个div节点

xpath(‘/body/div[last()-1]’)

选取body下倒数第二个div节点

xpath(‘/body/div[positon()<3]’)

选取body下前两个div节点

xpath(‘/body/div[@class]’)

选取body下带有class属性的div节点

xpath(‘/body/div[@class=”main”]’)

选取body下class属性为main的div节点

xpath(‘/body/div[price>35.00]’)

选取body下price元素值大于35的div节点

3、通配符

表达式

结果

xpath（’/div/*’）

选取div下的所有子节点

xpath(‘/div[@*]’)

选取所有带属性的div节点

4、相对路径查询

轴名称

表达式

描述

ancestor

xpath(‘./ancestor::*’)

选取当前节点的所有先辈节点（父、祖父）

ancestor-or-self

xpath(‘./ancestor-or-self::*’)

选取当前节点的所有先辈节点以及节点本身

attribute

xpath(‘./attribute::*’)

选取当前节点的所有属性

child

xpath(‘./child::*’)

返回当前节点的所有子节点

descendant

xpath(‘./descendant::*’)

返回当前节点的所有后代节点（子节点、孙节点）

following

xpath(‘./following::*’)

选取文档中当前节点结束标签后的所有节点

following-sibing

xpath(‘./following-sibing::*’)

选取当前节点之后的兄弟节点

parent

xpath(‘./parent::*’)

选取当前节点的父节点

preceding

xpath(‘./preceding::*’)

选取文档中当前节点开始标签前的所有节点

preceding-sibling

xpath(‘./preceding-sibling::*’)

选取当前节点之前的兄弟节点

self

xpath(‘./self::*’)

选取当前节点

5、模糊查询

函数

用法

解释

starts-with

xpath(‘//div[starts-with(@id,”ma”)]‘)

选取id值以ma开头的div节点

contains

xpath(‘//div[contains(@id,”ma”)]‘)

选取id值包含ma的div节点

and

xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘)

选取id值包含ma和in的div节点

text()

xpath(‘//div[contains(text(),”ma”)]‘)

选取节点文本包含ma的div节点

七、scrapy中request和response的函数参数

meta使用举例：

你在本级页面的上一级页面提取到了部分本级页面的信息，你就可以不用重复提取这部分“在上级页面提取的内容”，可以通过传参来完成

八、parse()函数运行机制

参考：https://blog.csdn.net/qq_43546676/article/details/89058986

1. 因为使用的yield，而不是return。parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果，并判断该结果是一个什么样的类型；
2. 如果是request则加入爬取队列，如果是item类型则使用pipeline处理，其他类型则返回错误信息。
3. scrapy取到第一部分的request不会立马就去发送这个request，只是把这个request放到队列里，然后接着从生成器里获取；
4. 取尽第一部分的request，然后再获取第二部分的item，取到item了，就会放到对应的pipeline里处理；
5. parse()方法作为回调函数(callback)赋值给了Request，指定parse()方法来处理这些请求 scrapy.Request(url, callback=self.parse)
6. Request对象经过调度，执行生成 scrapy.http.response()的响应对象，并送回给parse()方法，直到调度器中没有Request（递归的思路）
7. 取尽之后，parse()工作结束，引擎再根据队列和pipelines中的内容去执行相应的操作；
8. 程序在取得各个页面的items前，会先处理完之前所有的request队列里的请求，然后再提取items。
9. 这一切的一切，Scrapy引擎和调度器将负责到底。

由此可见，不是只有parse中的对象能返回给pipelines中，如果你继续对parse方法，继续用回调函数

yield Request(url, headers=header, callback=next)

则回调函数中返回的item也可以在pipelines.py中，进行数据处理。

另外，在yield后面代码也要注意，因为，它会先执行yield后面代码，执行完后，再到request队列中取request，才会调用回调函数。

九、中间件的使用（以设置随机请求头为例）

通过对http://httpbin.org/user-agent 的访问，验证随机请求头设置是否成功

scrapy.Requst的dont_filter属性是用来通知这个请求是否要被去重机制处理

去重也就是如果这个链接之前被访问过，那么就不会再访问它（scrapy中默认是去重，值为False）

1、首先再middleware.py中定义一个随机请求头的类

class UserAgentMiddleWare:
User_Agent = [
"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
"Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
"Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
"Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
"Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"

\]  
def process\_request(self,request,spider):  
    user\_agent = random.choice(self.User\_Agent)  
    request.headers\['User-Agent'\] = user\_agent

2、然后再setting.py中激活中间件

DOWNLOADER_MIDDLEWARES = {
'qsbk.middlewares.UserAgentMiddleWare': 543,
}

3、之后在原来qsbk_spider.py中改一下就可以了

import scrapy
from scrapy.http.response.html import HtmlResponse
from scrapy.selector.unified import SelectorList
from qsbk.items import QsbkItem
import json

class QsbkSpiderSpider(scrapy.Spider):
name = 'qsbk_spider'
allowed_domains = ['httpbin.org']
start_urls = ['http://httpbin.org/user-agent']

def parse(self, response):  
    user\_agent = json.loads(response.text)\['user-agent'\]  
    print('='\*30)  
    print(user\_agent)  
    print('='\*30) # dont\_filter=True这样的话链接就不会通过去重机制，而直接请求  
    yield scrapy.Request(url=self.start\_urls\[0\],dont\_filter=True)

在scrapy的引擎到下载器之间的中间件，我们可以复写两个函数来完成我们的一些操作，一个是process_request和process_response

具体内容如下

手机扫一扫

移动阅读更方便

你可能感兴趣的文章

python的scrapy框架的使用 和xpath的使用 && scrapy中request和response的函数参数 && parse()函数运行机制

定义一下这个项目的根

以后想要把这个项目某一个文件中的某个内容导入到其他文件，就可以以“qsbk.文件名”来实现

例如：

from qsbk.items import QsbkItem

这个意思就是将qsbk目录下的items.py文件中的QsbkItem类导入到此文件中

禁用cookie (默认开启cookie)

COOKIES_ENABLED = False

qsbk_spider是你的爬虫程序文件，注意要把这个命令用split拆开

from scrapy.exporters import JsonItemExporter

每次会把数据放在内存，最后在一次性写入文件，存储的是一个josn类型的文件

坏处是比较耗费内存

class QsbkPipeline:

def __init__(self):

self.fp = open('duanzi.json','wb')

self.exporter = JsonItemExporter(self.fp,ensure_ascii=False,encoding='utf-8')

self.exporter.start_exporting()

def open_spider(self):

print('爬虫开始了')

def process_item(self, item, spider):

self.exporter.export_item(item)

return item

def close_spider(self):

self.exporter.finish_exporting()

self.fp.close()

print('爬虫结束了')

每次调用export_item就会把itrm存放在磁盘，坏处是每一次字典是一行，整个文件不是一个字典，好处是

每次写入磁盘，不会占用大量内存

python的scrapy框架的使用和xpath的使用 && scrapy中request和response的函数参数 && parse()函数运行机制

def init(self):