Scrapy框架中如何更改下载中间件里的headers？（scrapy框架怎么安装）

Scrapy框架中如何更改下载中间件里的headers？（scrapy框架怎么安装）

大家好，我是我是皮皮。

一、前言

前几天在Python最强王者交流群有个叫【麦当】的粉丝问了一个关于Scrapy框架中如何更改下载中间件里的headers问题，这里拿出来给大家分享下，一起学习。

二、解决过程

如果只是单纯的一次性添加，那么可以使用下面这个方式，直接在settings.py文件中设置：

但是他想动态的修改，这样的话，单纯的修改就有点力不从心了。

不过不慌，这个这里给出【小王】大佬的解答，一起来看看吧，下面是他给的一个示例代码，下面这个代码写在middleware.py文件。

from fake_useragent import UserAgentclass RandomUserAgentMiddleware: def process_request(self, request, spider): request.headers.setdefault("User-Agent", UserAgent().chrome)

下面这个代码写在settings.py文件里边，如下所示：

settings.pyDOWNLOADER_MIDDLEWARES = { # 'anjuke.middlewares.RandomProxyMiddleware': 543, 'anjuke.middlewares.RandomUserAgentMiddleware': 400,}

三、总结

大家好，我是皮皮。这篇文章基于粉丝提问，针对Scrapy框架中如何更改下载中间件里的headers问题，给出了具体说明和演示，顺利的帮助粉丝解决了问题。

最后感谢粉丝【麦当】提问，感谢【dcpeng】和【小王】大佬给出的示例和代码支持。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。