这篇文章主要介绍了Python的urllib模块怎么用的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇Python的urllib模块怎么用文章都会有所收获，下面我们一起来看看吧。urllib模块是 Python 标准库，其价值在于抓取网络上的 URL 资源，入门爬虫时必学的一个模块。不过更多的爬虫工程师上手学习的模块已经更换为 requests 了。在 Python3 中 urllib 模块包括如下内容。urllib.request：请求模块，用于打开和读取 URL；urllib.error：异常处理模块，捕获urllib.error抛出异常；urllib.parse：URL 解析，爬虫程序中用于处理 URL 地址；urllib.robotparser：解析 robots.txt 文件，判断目标站点哪些内容可爬，哪些不可以爬，但是用的很少。打开一个测试站点，然后返回服务器响应内容。上述代码用到了urllib.requests模块，其内部定义了打开 URL 的函数，授权验证的方法，重定向，cookie 操作等方法。代码中用到的urlopen()函数，就是打开一个 URL，该函数的语法格式如下所示：参数描述如下所示：url：请求地址；data：发送到服务器的其他数据对象，默认为 None；timeout：超时时间；cafile和capath：cafile 为 CA 证书， capath 为 CA 证书的路径，使用 HTTPS 需要用到；context：ssl.SSLContext 类型，用来指定 SSL 设置。调用该对象的read()方法，可以读取到整个网页数据。其余的函数与文件读取类似，分别是readline()，readlines()。还可以调用对象的getcode()方法，获取网页状态码。使用urlopen()可以得到一个HTTPResposne类型的对象，它包括上文提及的read()方法，getcode()方法，除此之外，还有如下内容可以使用。getheaders()：获取请求头内容；getheader(name)：获取指定请求头；msg：信息属性；version：版本属性；status：状态属性。URL 请求抽象类，使用它可以扩展更多的请求配置，其构造方法如下所示：其参数说明如下所示：url：请求地址，必选参数；data：请求参数，必须为bytes类型数据，可以使用urlencode()进行编码；headers：字典类型，请求头设置；origin_req_host：请求的主机地址，IP 或域名；method：请求方法。测试代码如下所示：该模块主要用于解析 URL，函数原型如下所示：参数说明如下：urlstring：URL 地址；scheme：协议类型，可用的包括 file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet……；allow_fragments：是否忽略 URL 中的fragment部分。标准的 URL 格式如下：说明如下所示：scheme：URL 协议；netloc：域名和端口；path：路径；params：最后一个路径元素参数，不常用；query：查询字符串；fragment：片段标志。运行结果如下所示：
http http
www.example.com www.example.com
/index.html /index.html
info info
id=10086 id=10086
comment commentParseResult类型的对象。其余内容urlunparse()方法与上述方法逻辑相反；urljoin()方法用于拼接链接；urlencode()：格式化请求参数；quote()：将内容转换为 URL 编码格式，尤其是转换中文字符；unquote()：对 URL 进行解码。在urllib中，error模块定义异常，其包含如下类：URLError：OSError 的一个子类，用于处理程序在遇到问题时会引发此异常；HTTPError：URLError 的一个子类，用于处理特殊 HTTP 错误例如作为认证请求的时候关于“Python的urllib模块怎么用”这篇文章的内容就介绍到这里，感谢各位的阅免费云主机域名读！相信大家对“Python的urllib模块怎么用”知识都有一定的了解，大家如果还想学习更多知识，欢迎关注百云主机行业资讯频道。
这篇文章主要讲解了“Vue3侦听器的实现原理是什么”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Vue3侦听器的实现原理是什么”吧！前面我们聊到计算属性，它可以自动计算并缓存响应式数据的值。而如果我们仅需要在响…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
