Python网络爬虫中HTTP协议的基本原理是什么

今天小编给大家分享一下Python网络爬虫中HTTP协议的基本原理是什么的相关知识点，内容详细，逻辑清晰，相信大部分人都还太了解这方面的知识，所以分享这篇文章给大家参考一下，希望大家阅读完这篇文章后有所收获，下面我们一起来了解一下吧。 这里我们先了解一下URI和URL,URI的全称为Uniform Resource Identifier,即统―资源标志符，URL的全称为Universal Resource Locator，即统一资源定位符。URL是URI的子集，也就是说每个URL都是URI，但不是每个URI都是 URL。那么，怎样的URI不是URL呢?URI还包括一个子类叫作 URN，它的全称为Universal Resource Name，即统―资源名称。URN 只命名资源而不指定如何定位资源，比如urn:isbn:0451450523指定了一本书的ISBN,可以唯一标识这本书，但是没有指定到哪里定位这本书，这就是URN。URL、URN和URI的关系。但是在目前的互联网中，URN用得非常少，所以几乎所有的URI都是URL,一般的网页链接我们既可以称为URL,也可以称为URI,我个人习惯称为URL。接下来，我们再了解一一个概念——超文本， 其英文名称叫作hypertext,我们在浏览器里看到的网
页就是超文本解析而成的，其网页源代码是一系列HTML代码，里面包含了-系列标签，比如img显
示图片，p指定显示段落等。浏览器解析这些标签后，便形成了我们平常看到的网页，而网页的源代码HTML就可以称作超文本。例如，我们在Chrome浏览器里面打开任意一一个页面，如淘宝首页，右击任一地方并选择 “检查”
项(或者直接按快捷键F12)，即可打开浏览器的开发者工具，这时在Elements 选项卡即可看到当前
网页的源代码，这些源代码都是超文本，如图所示。在百度的首页， URL的开头会有http 或https,这就是访问资源需要的协议类型。有时，我们还会看到ftp、sftp、 smb 开头的URL,它们都是协议类型。在爬虫中，我们抓取的页面通常就是http或https协议的，这里首先了解一下这两 个协议的含义。HTTP的全称是Hyper Text Transfer Protocol, 中文名叫作超文本传输协议。HTTP协议是用于从网络传输超文本数据到本地浏览器的传送协议，它能保证高效而准确地传送超文本文档。HTTP由万维网协会( World Wide Web Consortium )和Internet工作小组IETF ( Internet Engineering Task Force )共同合作制定的规范，目前广泛使用的是HTTP1.1版本。HTTPS的全称是Hyper Text Transfer Protocol over Secure Socket Layer,是以安全为目标的HTTP
通道，简单讲是HTTP的安全版，即HTTP下加入SSL层，简称为HTTPS。HTTPS的安全基础是SSL,因此通过它传输的内容都是经过SSL加密的，它的主要作用可以分
为两种。建立一个信息安全通道来保证数据传输的安全。确认网站的真实性，凡是使用了HTTPS的网站，都可以通过点击浏览器地址栏的锁头标志来查看网站认证之后的真实信息，也可以通过CA机构颁发的安全签章来查询。现在越来越多的网站和App都已经向HTTPS方向发展，例如:苹果公司强制所有ioS App在2017年1月1日前全部改为使用HTTPS加密，否则App就无法在应用商店上架。谷歌从2017年1月推出的Chrome 56开始，对未进行HTTPS加密的网址链接亮出风险提示，即在地址栏的显著位置提醒用户“此网页不安全” 。腾讯微信小程序的官方需求文档要求后台使用HTTPS请求进行网络通信，不满足条件的域名和协议无法请求。我们在浏览器中输人一一个URL,回车之后便会在浏览器中观察到页面内容。实际上，这个过程是浏览器向网站所在的服务器发送了一个请求，网站服务器接收到这个请求后进行处理和解析，然后返回对应的响应，接着传回给浏览器。响应里包含了页面的源代码等内容，浏览器再对其进行解析，便将网页呈现了出来。此处客户端即代表我们自己的PC或手机浏览器，服务器即要访问的网站所在的服务器。请求，由客户端向服务端发出，可以分为4部分内容:请求方法( Request Method)、请求的网址
( Req免费云主机域名uest URL )、请求头( Request Headers )、请求体( Request Body )。请求方法常见的请求方法有两种: GET和POST。在浏览器中直接输入URL并回车，这便发起了一个GET请求，请求的参数会直接包含到URL里。例如，在百度中搜索Python,这就是一一个GET请求，链接为htps://www baidu. com/,其中URL中包含了请求的参数信息，这里参数wd表示要搜寻的关键字。POST 请求大多在表单提交时发起。比如，对于一个登录表单，输人用户名和密码后，点击“登录”按钮，这通常会发起一个 POST请求，其数据通常以表单的形式传输，而不会体现在URL中。GET和POST请求方法有如下区别：GET请求中的参数包含在URL里面，数据可以在URL中看到，而POST请求的URL不会包含这些数据，数据都是通过表单形式传输的，会包含在请求体中。GET请求提交的数据最多只有1024字节，而POST方式没有限制。一般来说，登录时，需要提交用户名和密码，其中包含了敏感信息，使用GET方式请求的话，密码就会暴露在URL里面，造成密码泄露，所以这里最好以POST方式发送。上传文件时，由于文件内容比较大，也会选用POST方式。我们平常遇到的绝大部分请求都是GET或POST请求，另外还有一些请求方法， 如GET、HEAD、
POST、PUT、 DELETE、OPTIONS、CONNECT、TRACE等。请求的网址请求头请求体响应，由服务端返回给客户端，可以分为三部分:响应状态码( Response Status Code).响应头( Response Headers )和响应体( Response Body )。响应状态码响应头响应体以上就是“Python网络爬虫中HTTP协议的基本原理是什么”这篇文章的所有内容，感谢各位的阅读！相信大家阅读完这篇文章都有很大的收获，小编每天都会为大家更新不同的知识，如果还想学习更多的知识，请关注百云主机行业资讯频道。

相关推荐: jquery属性选择器怎么应用

这篇文章主要讲解了“jquery属性选择器怎么应用”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“jquery属性选择器怎么应用”吧！ 在jquery中，属性选择器是基于元素属性作为筛选条件的选择器，指的是通过“…