基于Scrapy框架的下载器中间件添加Cookie参数

前言

本文中介绍 如何基于 Scrapy 框架的下载器中间件添加 Cookie 参数。

正文

1、添加中间件的流程

1. 在 middlewares.py 中新建 Cookie参数 中间件类
2. 在 settings.py 中添加此下载器中间件，设置优先级并开启

2、基于Scrapy框架的下载器中间件添加Cookie参数的流程

1. 在 middlewares.py 中新建 Cookie参数 中间件类

   # 中间件3：Cookie
   class BaiduCookieDownloaderMiddleware(object):def process_request(self, request, spider):# 1、先抓包得到cookiecookie_dict = self.get_cookie()request.cookies = cookie_dictprint(cookie_dict)def get_cookie(self):cookie_string = 'xxx:xxx'cookie_dict = {}for kv in cookie_string.split(";"):k = kv.split('=')[0]v = kv.split('=')[1]cookie_dict[k] = vreturn cookie_dict
   

   注意1：Cookies 参数需要通过 F12 抓包得到；
   注意2：要写一个函数，将 Cookies 字符串格式 处理为字典格式。

       def get_cookie(self):cookie_string = ''cookie_dict = {}for kv in cookie_string.split(";"):k = kv.split('=')[0]v = kv.split('=')[1]cookie_dict[k] = vreturn cookie_dict
   

2. 在 settings.py 中添加此下载器中间件，设置优先级并开启

   # Enable or disable downloader middlewares
   # See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
   # 开启中间件
   DOWNLOADER_MIDDLEWARES = {"BaiduMiddle.middlewares.BaidumiddleDownloaderMiddleware": 543,"BaiduMiddle.middlewares.BaiduCookieDownloaderMiddleware": 400
   }
   

3. 运行效果