Scrapy框架 -- 深度爬取并持久化保存图片

一、新建一个Scrapy项目daimg

scrapy startproject daimg

二、进入该项目并创建爬虫文件daimgpc

cd daimg
scrapy genspider daimgpc www.xxx.com

三、修改配置文件settings.py

ROBOTSTXT_OBEY = False 
LOG_LEVEL = 'ERROR'
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"

四、进入爬虫文件，编写代码

1、指定要爬取的网站

start_urls = ["http://www.XXXXXcom/photo/world/"]

2、解析该页面获取，获取详情页网址和图片名称

列表= response.xpath('/html/body/div[5]/ul/li')for i in 列表:标题=i.xpath('./a/@title').extract_first()+'.jpg'详情页=i.xpath('./a/@href').extract_first()

3、爬取多页图片标题及详情页

start_urls = ["http://www.XXXX.com/photo/world/"]多页url模板='http://wwwXXXXXcom/photo/world/list_69_%d.html'if self.页码<4:新url=format(self.多页url模板%self.页码)self.页码+=1yield scrapy.Request(url=新url,callback=self.parse)

4、解析详情页，获取图片链接

yield scrapy.Request(url=详情页,callback=self.详情页解析)def 详情页解析(self,response):图片地址=response.xpath('/html/body/div[4]/div[1]/ul[2]/img/@src').extract_first()print(图片地址)

5、将图片地址和图片名称声明到items

图片名称 = scrapy.Field()图片地址 = scrapy.Field()

6、将DaimgTiem函数导入爬虫文件

from ..items import DaimgItem

7、将图片地址和图片名字保存到itme对象，并提交给管道处理

itme对象=DaimgItem()itme对象['图片名称']=标题yield scrapy.Request(url=详情页,callback=self.详情页解析,meta={'item':itme对象})meta=response.meta
item=meta['item']
item['图片地址']=图片地址
yield item

8、管道文件编写

from scrapy.pipelines.images import ImagesPipeline
class DaimgPipeline(ImagesPipeline):def get_media_requests(self, item, info):请求地址=item['图片地址']yield scrapy.Request(url=请求地址,meta={'名称':item['图片名称']})def file_path(self, request, response=None, info=None, *, item=None):保存名称=request.meta['名称']return 保存名称def item_completed(self, results, item, info):return item

9、配置文件填写保存的文件夹

IMAGES_STORE='aiyou'

10、开启管道

ITEM_PIPELINES = {"daimg.pipelines.DaimgPipeline": 300,
}

五、运行爬虫文件

scrapy crawl daimgpc

六、运行结果

七、提高效率设置

1、线程数量，默认16

CONCURRENT_REQUESTS = 32

2、禁止cookies

COOKIES_ENABLED = False

3、禁止重试

RETRY_ENABLED = False

4、设置超时时间

DOWNLOAD_TIMEOUT = 10