pytho中opee的作用(pytho爬虫heades的作用)

【每日学习】Python爬虫之opener()和hander()

【导读】Python爬虫基础知识学习

【主题】Python爬虫之opener()和hander()

【分析】

1.urlopen()方法如何实现的？

urllib库请求是通过urlopen()方法实现的。实际上urlopen()方法的底层是使用HTTPHandler和Opener来实现的。

opener是 urllib.request.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。

2.为什么要自定义opener？

我们采用urlopen()的方式去请求，无法实现代理、cookie等其他高级功能，所以我们需要自己定义Handler和opener。

可以使用相关的 Handler处理器 来创建特定功能的处理器对象；

然后通过 urllib.request.build_opener()方法使用这些处理器对象，创建自定义opener对象；

使用自定义的opener对象，调用open()方法发送请求。

如果程序里所有的请求都使用自定义的opener，可以使用urllib.request.install_opener() 将自定义的 opener 对象 定义为 全局opener，表示如果之后凡是调用urlopen，都将使用这个opener（根据自己的需求来选择）

【代码】

温馨提示：通过以上关于【每日学习】Python爬虫之opener()和hander()内容介绍后，相信大家有新的了解，更希望可以对你有所帮助。