疾风_lu 阅读(41) 评论(0)

DOWNLOAD MIDDLEWRE用法详解

                             

通过上面的Scrapy工作架构我们对其功能进行下总结:

(1)、在Scheduler调度出队列时的Request送给downloader下载前对其进行修改

(2)、在下载生成后的Response发送给Spider并在Spider对其解析之前对其修改

【这里我们将scheduler spiders downloader middlewares downloader看作四个小伙伴做游戏进一步进行理解 】

(1)scheduler对spider说:请把request给我,spiders收到信息后,就说这是我的request,拿去吧

(2)scheduler收到request后要去找名叫downloader的小伙伴才能去服务器上下载数据,

(3)这时,名叫downloader middlewares的小伙伴跳出来说,得怎么没我什么事了,于是它站在了scheduler和downloader中间,愤恨地说出了自己的价值(我可以对scheduler你的request进行如增加http header信息,增加proxy信息,重定向,失败重试等操作!)


Scrapy框架提供了多种内置的downloader middleware(摘自http://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/downloader-middleware.html#topics-downloader-middleware-ref,小伙伴们了解即可)

'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware':100,【该中间件过滤所有robots.txt eclusion standard中禁止的request。】
'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware':200,【该中间件完成某些使用 Basic access authentication (或者叫HTTP认证)的spider生成的请求的认证过程。】
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware':300,【该中间件设置 DOWNLOAD_TIMEOUT 指定的request下载超时时间.】
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware':400,【该中间件设置 DEFAULT_REQUEST_HEADERS 指定的默认request header】
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':500,【用于覆盖spider的默认user agent的中间件,要使得spider能覆盖默认的user agent,其 user_agent 属性必须被设置。】

'scrapy.downloadermiddlewares.retry.RetryMiddleware':600,【该中间件将重试可能由于临时的问题,例如连接超时或者HTTP 500错误导致失败的页面。】
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware':650,【该中间件根据meta-refresh html标签处理request重定向。】
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware':700,【该中间件提供了对压缩(gzip, deflate)数据的支持】
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware':750,【该中间件根据response的状态处理重定向的request。】
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware':800,【该中间件使得爬取需要cookie(例如使用session)的网站成为了可能。 其追踪了web server发送的cookie,并在之后的request中发送回去, 就如浏览器所做的那样】
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware':850,【该中间件提供了对request设置HTTP代理的支持。您可以通过在 Request 对象中设置 proxy 元数据来开启代理。】


 

这里给小伙伴们普及一个概念:我们发现在每个内置中间件后面都跟了数字:这些数字是什么意思呢?

答:我们以食堂吃饭为例,就以我们学校二食堂,你去打饭正值中午11.50,这时你会发现人多到你想骂娘,所有你需要排队等候,我们以此类比,你打的饭菜就相当于request请求,当你需要将request请求送给download组件(你成功打到饭菜)前你需要排队,在这数字越小说明你在队伍中的位置越靠前,即你的优先级越高,而数字越大的人排的越靠后就可能吃不到饭了,小伙伴们明白了没?   


Scrapy框架不仅定义了自己的中间件,我们还可以根据需要进行自我定义:

class scrapy.downloadermiddlewares.DownloaderMiddleware

这里我们定义自己的downloader middleware ,而每个类都定义了一个或多个方法,我们介绍以下三个核心的方法:

(1)、process_request(request,spider) 【参数一:request (Request 对象) –即待处理的request对象 /参数二:spider (Spider 对象) – 该request对应的spider】

方法分析:

该方法在request被引擎调度给downloader之前被调用

该方法有4种返回结果:我们依次来分析:
(1)、返回None:

此时scrapy会继续处理该Request,即不同的Downloader middleware 按优先级的顺序修改该Request,并送给Downloader执行

(2)、返回Response:

此时scrapy不会再执行其他的process_request和process_exception方法,并调用Downloader middleware的每个process_response方法,将Request送给spider组件

(3)、返回Request对象

此时scrapy会返回process_request方法并重新执行(即重试),直到新的Request被执行,才返回Response

(4)、返回IgnoreRequest异常

此时会依次执行Downloader middleware的process_exception方法,如果process_exception方法无法解决,那么就会回调Request的errback方法,如果还无法解决,那么该异常就会被忽略

小伙伴们明白了吗?如果有问题,不要着急,我们接着往下看:
该方法使用实例分析:

下面小伙伴们让我们使用process_request方法实现代理的设置(下面实验是基于win10 pycharm中运行的 )

首先:启动终端新建项目:scrapy startproject httpbintest

cd httpbinbest  ----scrapy genspider httpbin httpbin.org

接着:利用pycharm启动项目

改写httpbin.py

利用alt+f12启动pycharm的terminal:执行命令:scrapy crawl httpbin

得到如下输出:(这里我只贴出了部分)

这里我们可以看到成功爬取啦,小伙伴们我们注意到origin字段(这就是你本机电脑的ip,你可以把它复制进百度,一查,定位看看,这里我的是镇江联通)

下面我们要实现更换该ip来实现对网站的爬取(即伪装自我)

打开:middleware.py并修改

这里小伙伴们可以上讯代理购买几个i(本人发现系统代理需要输密码,所以出了9块大洋买了几个代理ip)【注释:小伙伴们别忘了导入logging模块】

这里我们返回值为None,具体什么意思参见上文

最后打开:settings.py(项目配置文件)启动中间件

 

得到如下输出:(这里我也只贴了部分)

小伙伴们我们可以将成功运行的ip百度一下,你会发现地址已换,我们成功实现了伪装我们的ip进行爬取,是不是很有意思!


 

(2)、process_response(request,response,spider) 【参数一:Request对象 参数二:Response对象,即被处理的Response 参数三:Spider对象,即Response对应的Spider】

该方法返回四种结果,我们依次来分析:

(1)、返回Request对象

此时,优先级更低的Downloader Middleware 的process_response方法将不会被调用,该Request会重回队列被process_request处理,即返回了上一个Request的(1)

(2)、返回Response对象

此时,将会执行更低优先级的process_response方法,继续处理Response

(3)、返回IgnoreRequest异常

此时同Request的(4)

该方法使用实例分析

改写middleware.py(这里我只贴出了部分)

改下httpbin.py

得到的输出结果如下:

我们来分析下过程:downloader获取Response之后经过middleware改写,将原本的状态吗变成了206再传给Response,所以我们得到的Response的状态吗成立206了

总结:process_response主要用来改写你downloader返回的Response


 

(3)、process_exception(request,exception,spider)【参数一:产生异常的Request对象 参数二:即抛出的异常exception对象 参数三:Request对应的spider】

该方法返回三种结果,我们依次来分析下:

(1)、返回None

此时,更低优先级的Downloader  Middleware的process_exception方法将会被调用,直到所有的方法都被调度完毕

(2)、返回Response

此时,更低优先级的Downloader Middleware的process_exception方法将不会被调用,而依次去执行process_response方法

(3)、返回Request

此时,更低优先级的Downloader Middleware的process_exception方法将不会被调用,而依次去执行process_request方法


总结:

(1)Downloader Middlewares 由scrapy内置的middleware和你自己定义的middlewares组成

(2)如小伙伴不想使用scrapy内置的middlewares可以'scrapy.downloadermiddlewares.retry.RetryMiddleware':None,这样就不启用了

(3)各个middlewares后面的数字表示优先级,数字越小表明你的优先级越高(越远离downloader即先进去后出来),数字越大表明优先级越低(越靠近downloader即后进去先出来)

(4)我们主要使用downloader middlewares 来改变User-Agent、设置代理、cookies等反反爬虫机制(具体后面我们以实例详谈)

小伙伴们理解了吗?