02.爬虫---HTTP基本原理

02.HTTP基本原理

    • 1.URI 和 URL 的区别
    • 2.HTTP 和 HTTPS 的区别
    • 3.请求过程

1.URI 和 URL 的区别

  • URL（Uniform Resource Locator）即-统一资源定位符
    URL是用来定位和访问互联网上资源的独特标识，它包括了资源的位置（如IP地址或域名）、端口号（可选）、路径（资源在服务器上的位置）、查询（用于传递参数）和片段（用于指定资源中的特定部分）。例如 http://www.example.com/index.html 是一个指向网站首页的URL。

  • URI（Uniform Resource Identifier）即-统一资源标志符
    URI是一个更广泛的术语，它用来唯一地标识一个资源，而不涉及如何定位该资源。URI可以分为URL和URN两种。URL是URI的一种形式，它提供了定位资源的方法，而URN则是用特定命名空间的名字来标识资源，不包含位置信息。

  • URN（Uniform Resource Name）即-统一资源名称
    URN是URI的一种形式，它通过一个全局唯一的名称来标识资源，这个名称在某个命名空间中是唯一的。URN的目的是提供一种方式，使得即便资源的位置发生变化，依然可以对资源进行标识。例如，urn:isbn:0-395-36341-1 是莎士比亚戏剧《罗密欧与朱丽叶》的ISBN号，这是一个典型的URN示例。

URL：提供了资源的位置和访问方式，是URI的子集，易于人类理解和机器解析。
URI：更通用的资源标识符，可以是URL或URN，用于标识资源，但不提供定位信息。
URN：侧重于通过名称来标识资源，与资源的位置无关，常用于命名空间中标识唯一资源。

关系图:URI = URL+URN
在这里插入图片描述

2.HTTP 和 HTTPS 的区别

在这里插入图片描述

HTTP（超文本传输协议）英文(Hyper Text Transfer Protocol)

  • 安全性：HTTP协议传输的数据是未加密的，可以被第三方拦截和阅读
  • 连接状态：HTTP连接在数据传输过程中是明文的，一旦连接被截断，数据就有可能被窃取或篡改
  • 端口号：80端口
  • 性能：比HTTPS好
  • 证书：HTTP不需要使用证书

HTTPS（超文本传输安全协议）英文(Hypertext Transfer Protocol Secure)

  • 安全性：HTTPS通过SSL/TLS协议对数据进行加密，确保数据在传输过程中的机密性和完整性，防止数据被截获或篡改
  • 连接状态：HTTPS连接在数据传输过程中始终保持加密状态，即便连接在传输过程中被截断，也不会影响数据的加密状态
  • 端口号：443端口
  • 性能：HTTPS需要进行加密和解密操作，可能会增加服务器和客户端的计算量，导致性能开销
  • 证书：HTTPS需要使用SSL/TLS证书来验证服务器的身份，确保用户连接的是合法的服务器，防止中间人攻击

3.请求过程

在这里插入图片描述
打开电脑浏览器，访问百度 http://www.baidu.com/，这时候鼠标右键并选择 “检查” 菜单（或直接按快捷键 F12），即可打开浏览器的开发者工具，如下图所示：

在这里插入图片描述
其中各列的含义如下:

  • Name：请求的名称，一般会将 URL 的最后一部分内容当作名称。
  • Status：响应的状态码，这里显示为 200，代表响应是正常的。通过状态码，我们可以判断发送了请求之后是否得到了正常的响应。
  • Protocol：请求的协议类型，这里 http/1.1 代表是 HTTP 1.1 版本，h2 代表 HTTP 2.0 版本。
  • Type：请求的文档类型。这里为 document，代表我们这次请求的是一个 HTML 文档，内容就是一些 HTML 代码。
  • Initiator：请求源。用来标记请求是由哪个对象或进程发起的。
  • Size：从服务器下载的文件和请求的资源大小。如果是从缓存中取得的资源，则该列会显示 from cache。
  • Time：发起请求到获取响应所用的总时间。
  • Waterfall：网络请求的可视化瀑布流。

随便点击一个条目，即可看到其更详细的信息，我们看一下比较常用的 如图所示

在这里插入图片描述
通用头 (General)

  • Request URL: 请求的网址
  • Request Method: 请求方法(GET,HEAD,POST,PUT,DELETE,CONNECT,OPTIONS,TRACE)
  • Status Code: 请求状态(2xx,3xx,4xx,5xx) 点击参考 HTTP响应状态码一览表
  • Remote Address:HTTP请求的远程地址，即HTTP请求的源地址
  • Referrer Policy:Referer提供访问来源的信息，告诉服务器，用户在访问当前资源之前的位置，发生传场景包含：加载图片、样式文件、JS文件、请求。浏览器会将当前网址作为Referer字段，放在 HTTP 请求的头信息发送

请求头（Request Headers）

  • Content-Length:HTTP消息长度, 用十进制数字表示的八位字节的数目，消息实体的长度，用于消息的分包和粘包处理
  • Content-Type: 互联网媒体类型 点击参考

响应头（Response Headers）

  • Accept:请求报头域，用于指定客户端可接受哪些类型的信息
  • Accept-Encoding:指定客户端可接受的内容编码
  • Accept-Language:指定客户端可接受的语言类型
  • Connection:是否开启长链接。close为不长连接，keep-alive保持长连接
  • Cookie:维持当前访问会话
  • Host:用于指定请求资源的主机 IP 和端口号，其内容为请求 URL 的原始服务器或网关的位置。从 HTTP 1.1 版本开始，请求必须包含此内容
  • Referer:是HTTP请求header的报文头，用于指明当前流量的来源参考页面。通过这个信息，我们可以知道访客是怎么来到当前页面的
  • Sec-Ch-Ua:可以理解用来替代user-agent的，用sec-ch-ua可以防止泄露浏览器详细信息
  • Sec-Ch-Ua-Mobile:是否是移动端用户
  • Sec-Ch-Ua-Platform:表示操作系统名称
  • Sec-Fetch-Dest:表示请求的目的地，即如何使用获取的数据
  • Sec-Fetch-Mode:该请求头表明了一个请求的模式
  • Sec-Fetch-Site:请求发起者的来源与目标资源来源之间的关系
  • User-Agent:简称 UA，它是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。在做爬虫时加上此信息，可以伪装为浏览器；如果不加，很可能会被识别为爬虫

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/642345.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

让写书人勇敢穿越纸海的迷雾

让写书人勇敢穿越纸海的迷雾

坚守纸海：让写书人勇敢穿越纸海的迷雾 你作为一位写书人，在创作过程中你需要坚守初心是非常重要的。在创作的过程中，你会遇到各种挑战和困难，你要勇敢面对迷雾中的挑战，并通过不懈的努力和决心，成功地穿越…
阅读更多...
Redis常见数据类型(6)-set, zset

Redis常见数据类型(6)-set, zset

目录 Set 命令小结 内部编码 使用场景 用户画像 其它 Zset有序集合 普通指令 zadd zcard zcount zrange zrevrange ​编辑 zrangebyscore zpopmax/zpopmin bzpopmax/bzpopmin zrank/zrevrank zscore zrem zremrangebyrank zremrangebyscore Set 命令小结 …
阅读更多...
AI绘画基础，建议用天工 AI 搞副业，30 分钟搞定儿童早教内容

AI绘画基础，建议用天工 AI 搞副业，30 分钟搞定儿童早教内容

现在 AI 非常火，竞争也非常激烈，尤其是国内的 AI 大模型堪称百团大战，非常内卷。 我研究 AI 大模型也有快一年的时间了，也体验了国内的很多大模型，然后我感觉如果单从用户体验的角度来讲，综合产品力最强的…
阅读更多...
FPGA状态机设计详解

FPGA状态机设计详解

一.什么是状态机？ 想象一下你正在玩一个电子游戏，角色有多种状态，比如“行走”、“跳跃”、“攻击”等。每当你按下不同的按键或者满足某些条件时，角色的状态就会改变，并执行与该状态对应的动作。这就是状态机的一个简…
阅读更多...
修改vuetify3的开关组件v-switch在inset模式下的大小

修改vuetify3的开关组件v-switch在inset模式下的大小

<v-switchv-model"model":label"Switch: ${model.toString()}"hide-detailsinset></v-switch><style lang"scss" scoped> .custom-switch {:deep(.v-switch__thumb) {height: 18px !important; /* 设置开关按钮的高度 */width…
阅读更多...
html 引用vue3 element 首次加载缩成一团 挤在一起

html 引用vue3 element 首次加载缩成一团 挤在一起

问题&#xff1a;原生html引用vue,element plus 分析&#xff1a; vue.js, element脚本过大&#xff0c;首次加载网络慢的话&#xff0c;会是缩在这里&#xff0c;没完全渲染 解决&#xff1a; 没加载之前&#xff0c;不显示div&#xff0c;显示一个加载提示语 改动地方app…
阅读更多...
ISCC 2024 部分wp

ISCC 2024 部分wp

文章目录 一、Misc1、Number_is_the_key2、FunZip3、擂台—— 重“隐”&#xff1b;4、RSA_KU5、时间刺客6、成语学习7、 精装四合一8、钢铁侠在解密9、有人让我给你带个话10、Magic_Keyboard11、工业互联网模拟仿真数据分析 二、Web1、还没想好名字的塔防游戏2、代码审计3、原…
阅读更多...
curl: (60) SSL certificate problem: self-signed certificat

curl: (60) SSL certificate problem: self-signed certificat

目录&#xff1a; 1、背景2、测试结果 1、背景 今天帮忙客户排查问题&#xff0c;报错请求超时&#xff0c;但是ping客户的ip以及测试端口都是通的&#xff0c;最终不得不从中台服务器上发起请求客户回调接口&#xff0c;报错如下&#xff1a; 怀疑是客户的证书有问题&#xf…
阅读更多...
代码随想录算法训练营第十七天（py）| 二叉树 | 513.找树左下角的值、112. 路径总和、106.从中序与后序遍历序列构造二叉树

代码随想录算法训练营第十七天（py）| 二叉树 | 513.找树左下角的值、112. 路径总和、106.从中序与后序遍历序列构造二叉树

513.找树左下角的值 力扣链接 给定一个二叉树的 根节点 root&#xff0c;请找出该二叉树的 最底层 最左边 节点的值。 思路 层序遍历 层序遍历之后&#xff0c;取最后一个数组的第一个元素 class Solution:def findBottomLeftValue(self, root: Optional[TreeNode]) -> …
阅读更多...
Python线程

Python线程

Python线程 1. 进程和线程 先来了解下进程和线程。 类比&#xff1a; 一个工厂&#xff0c;至少有一个车间&#xff0c;一个车间中至少有一个工人&#xff0c;最终是工人在工作。 一个程序&#xff0c;至少有一个进程&#xff0c;一个进程中至少有一个线程&#xff0c;最终…
阅读更多...
C++初探_右值引用

C++初探_右值引用

左值&#xff1a;在内存中有确定的存储地址。 右值&#xff1a;可出现在赋值表达式右边。包括&#xff1a;字面常量、诸如xy等的表达式&#xff0c;以及返回值的函数。 代码&#xff1a; #include <iostream> using namespace std;int main() {int x 10;int y 13;int…
阅读更多...
⌈ 传知代码 ⌋ 基于扩散模型的无载体图像隐写术

⌈ 传知代码 ⌋ 基于扩散模型的无载体图像隐写术

&#x1f49b;前情提要&#x1f49b; 本文是传知代码平台中的相关前沿知识与技术的分享~ 接下来我们即将进入一个全新的空间&#xff0c;对技术有一个全新的视角~ 本文所涉及所有资源均在传知代码平台可获取 以下的内容一定会让你对AI 赋能时代有一个颠覆性的认识哦&#x…
阅读更多...
Mybatis-Plus笔记

Mybatis-Plus笔记

1.MP基础 1.1 MP常见注解 TableName(“指定表明”) TableName("tb_user") // 指定表名 Data NoArgsConstructor AllArgsConstructor Builder public class User {private Long id;private String userName;private String password;private String name;private I…
阅读更多...
软件设计师备考 | 案例专题之数据流图 概念与例题

软件设计师备考 | 案例专题之数据流图 概念与例题

案例分析专题大纲&#xff1a; 数据流图基本概念 基本图形元素&#xff1a;外部实体、加工、数据存储、数据流 数据流&#xff1a;由一组固定成分的数据组成&#xff0c;表示数据的流向。在DFD中&#xff0c;数据流的流向必须经过加工。加工&#xff1a;描述了输入数据流到输出…
阅读更多...
Ubuntu22.04虚拟机设置静态IP

Ubuntu22.04虚拟机设置静态IP

虚拟机设置静态IP 按下电脑的 “win”键&#xff0c;在弹出的输入框中输入“控制面板”&#xff0c;选中控制面板 1.选择 “网络和Internet” 2.选择 “网络和共享中心” 3.选择 “更改适配器设置” 4.选择 “VMnet8”&#xff0c;双击打开 5.选择 “属性” 找到 “Internet …
阅读更多...
【游戏引擎】Unity动画系统详解

【游戏引擎】Unity动画系统详解

持续更新。。。。。。。。。。。。。。。 【游戏引擎】Unity动画系统详解 Unity动画系统详解简介关键帧动画创建关键帧动画的步骤&#xff1a; Mecanim动画系统Mecanim的关键组件&#xff1a;使用Mecanim创建动画的步骤&#xff1a; 动画控制器动画控制器的高级功能&#xff1a…
阅读更多...
AI预测福彩3D采取888=3策略+和值012路一缩定乾坤测试5月25日预测第1弹

AI预测福彩3D采取888=3策略+和值012路一缩定乾坤测试5月25日预测第1弹

上一套算法采用了88723的容差策略&#xff0c;关于容差策略相信大家都比较清楚&#xff1a;容差可以最大限度的保证初始大底中包含中奖号码&#xff0c;然后再通过设置一些杀号条件进行缩水。比如&#xff0c;我对我的各种模型算法近30期的预测结果进行了统计&#xff0c;如果采…
阅读更多...
动态代理，反射，注解的复习笔记

动态代理，反射，注解的复习笔记

1.动态代理的作用 动态代理最主要的用途就是在各种框架中&#xff0c;很方便的在运行期间生成代理类&#xff0c;通过代理类就可以完成AOP、过滤器、拦截器等操作 &#xff08;注&#xff1a;代理就是被代理者没有能力或者不愿意去完成某件事情&#xff0c;需要找个人代替自己…
阅读更多...
浏览器的一些功能

浏览器的一些功能

1.改主页面 点浏览器右上角的三个点也就是一个... 点了设置 你可以在这里改它的颜色 还有页面 一些有意思的网站: sandspiel像素风格游戏 趣味互动游戏&#xff1a;请画一个小人 (webhek.com)​​​​​​ 2018 - makemepulse解压游戏 Layered Water (vlucendo.com)水模…
阅读更多...
《计算机网络微课堂》2-2 物理层下面的传输媒体

《计算机网络微课堂》2-2 物理层下面的传输媒体

请大家注意&#xff0c;传输媒体不属于计算机网络体系结构的任何一层&#xff0c;如果非要将它添加到体系结构中&#xff0c;‍‍那只能将其放在物理层之下。 传输媒体可分为两类&#xff1a;一类是导引型传输媒体&#xff0c;‍‍另一类是非导引型传输媒体。 在导引型传输媒体…
阅读更多...
最新文章

Copyright @ 2022~2023