搜索
写经验 领红包
 > 美食

pytho中opee的作用(pytho爬虫heades的作用)

【每日学习】Python爬虫之opener()和hander()

【导读】Python爬虫基础知识学习

【主题】Python爬虫之opener()和hander()

【分析】

1.urlopen()方法如何实现的?

urllib库请求是通过urlopen()方法实现的。实际上urlopen()方法的底层是使用HTTPHandler和Opener来实现的。

opener是 urllib.request.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构建好的)。

2.为什么要自定义opener?

我们采用urlopen()的方式去请求,无法实现代理、cookie等其他高级功能,所以我们需要自己定义Handler和opener。

可以使用相关的 Handler处理器 来创建特定功能的处理器对象;

然后通过 urllib.request.build_opener()方法使用这些处理器对象,创建自定义opener对象;

使用自定义的opener对象,调用open()方法发送请求。

如果程序里所有的请求都使用自定义的opener,可以使用urllib.request.install_opener() 将自定义的 opener 对象 定义为 全局opener,表示如果之后凡是调用urlopen,都将使用这个opener(根据自己的需求来选择)

【代码】

python中opener的作用(python爬虫headers的作用)

温馨提示:通过以上关于【每日学习】Python爬虫之opener()和hander()内容介绍后,相信大家有新的了解,更希望可以对你有所帮助。