【100天精通python】Day42：python网络爬虫开发_HTTP请求库requests 常用语法与实战

目录

1 HTTP协议

2  HTTP与HTTPS

3 HTTP请求过程

 3.1 HTTP请求过程

3.2 GET请求与POST请求

3.3 常用请求报头

3.4 HTTP响应

4 HTTP请求库requests 常用语法

4.1 发送GET请求

 4.2 发送POST请求

4.3 请求参数和头部

4.4 编码格式

4.5 requests高级操作-文件上传

4.6 requests高级操作-获取cookie

4.7 request高级操作-证书验证

5 实战

利用requests 库抓取2023年高考新闻的标题和链接

1 HTTP协议

        HTTP协议（Hypertext Transfer Protocol）： HTTP是一种用于在客户端和服务器之间传输数据的协议。它基于请求-响应模型，客户端发送HTTP请求，服务器返回HTTP响应。HTTP协议主要用于Web浏览器和服务器之间的通信，用于获取、传输和展示Web页面和资源。

        在网络爬虫中，HTTP（Hypertext Transfer Protocol）协议起着至关重要的作用，它是用于在客户端和服务器之间传输数据的协议。下面是HTTP协议在爬虫中的一些关键作用：

  1. 获取网页内容： 爬虫使用HTTP协议来向服务器发送请求，以获取网页的内容。通过发送GET请求，爬虫能够请求服务器返回网页的HTML代码。

  2. 发送请求： 爬虫可以使用不同的HTTP请求方法，如GET、POST、PUT等，来向服务器发送不同类型的请求。GET请求用于获取资源，而POST请求用于提交数据，PUT请求用于更新资源，等等。

  3. 传递参数： 爬虫可以通过HTTP请求的URL参数或请求体参数来传递各种数据，如查询参数、表单数据等。这在爬取特定数据或进行搜索时非常有用。

  4. 设置请求头： 爬虫可以在HTTP请求中设置请求头，包括User-Agent、Referer、Cookie等，以模拟不同类型的浏览器行为，或者绕过网站的反爬措施。

  5. 处理响应： 服务器返回HTTP响应，其中包含状态码、响应头和响应体。爬虫可以根据状态码来判断请求是否成功，从响应头中获取信息，以及从响应体中提取网页内容。

  6. 解析HTML内容： 爬虫通过解析HTML内容，从中提取所需的信息。这通常涉及使用库（如Beautiful Soup）来解析网页的DOM结构。

  7. 模拟登录： 对于需要登录才能访问的网站，爬虫可以通过模拟POST请求提交登录表单，以获取登录后的数据。

  8. 反爬处理： 爬虫可能会遇到网站的反爬机制，如限制访问频率、验证码等。在这种情况下，爬虫需要适当调整请求头、使用代理IP等来绕过这些限制。

        总之，HTTP协议是爬虫工作的基础，通过向服务器发送请求和解析服务器的响应，爬虫可以从网页中获取所需的数据，然后进行处理、分析和存储。同时，了解HTTP协议的各种特性和机制，能够帮助爬虫更有效地操作和与服务器交互。

1.1 HTTP请求结构

         一个HTTP请求由以下几部分组成：

  1. 请求行（Request Line）： 包含请求方法、目标URL和协议版本。
  2. 请求头（Request Headers）： 包含关于请求的元信息，如User-Agent、Accept、Cookie等。
  3. 空行： 用于分隔请求头和请求体。
  4. 请求体（Request Body）： 仅在使用POST等方法时出现，包含请求的实际数据。

1.2 HTTP响应结构

         一个HTTP响应由以下几部分组成：

  1. 状态行（Status Line）： 包含协议版本、状态码和状态信息。
  2. 响应头（Response Headers）： 包含关于响应的元信息，如Content-Type、Content-Length等。
  3. 空行： 用于分隔响应头和响应体。
  4. 响应体（Response Body）： 包含响应的实际数据，如HTML内容、JSON数据等。

1.3 常见的HTTP方法

  1. GET： 用于从服务器获取数据，将数据附加在URL中。
  2. POST： 用于向服务器提交数据，将数据包含在请求体中。
  3. PUT： 用于更新服务器上的资源，将数据包含在请求体中。
  4. DELETE： 用于从服务器删除资源，将数据附加在URL中。
  5. HEAD： 类似于GET，但只返回响应头，用于获取资源的元信息。
  6. OPTIONS： 用于查询服务器支持的HTTP方法。

1.4 常见的HTTP状态码：

  1. 200 OK： 请求成功。
  2. 201 Created： 资源已成功创建。
  3. 400 Bad Request： 请求有误。
  4. 401 Unauthorized： 请求未经授权。
  5. 403 Forbidden： 服务器拒绝请求。
  6. 404 Not Found： 请求的资源不存在。
  7. 500 Internal Server Error： 服务器内部错误。

示例： 以下是一个简单的示例，演示如何使用Python的http.server模块创建一个简单的HTTP服务器，并发送GET和POST请求。您可以在终端中运行此示例，然后在浏览器中访问相应的URL。

# 创建一个简单的HTTP服务器
# 在终端运行：python http_server_example.py
import http.server
import socketserver

class MyHandler(http.server.SimpleHTTPRequestHandler):
    def do_GET(self):
        self.send_response(200)
        self.send_header('Content-type', 'text/html')
        self.end_headers()
        self.wfile.write(b'Hello, GET request!')

    def do_POST(self):
        content_length = int(self.headers['Content-Length'])
        post_data = self.rfile.read(content_length)
        self.send_response(200)
        self.send_header('Content-type', 'text/html')
        self.end_headers()
        response = f'Hello, POST request! Data: {post_data.decode()}'
        self.wfile.write(response.encode())

if __name__ == "__main__":
    PORT = 8000
    with socketserver.TCPServer(("", PORT), MyHandler) as httpd:
        print(f"Serving at port {PORT}")
        httpd.serve_forever()

        在浏览器中访问http://localhost:8000可以看到服务器响应。可以使用工具如curl或者requests库发送HTTP请求并接收响应。

2  HTTP与HTTPS

        HTTP（Hypertext Transfer Protocol）和HTTPS（Hypertext Transfer Protocol Secure）都是用于在客户端和服务器之间传输数据的协议，但它们之间存在着重要的安全和加密差异。

HTTP（Hypertext Transfer Protocol）： HTTP是一种用于传输超文本数据的协议，它在Web浏览器和Web服务器之间进行通信。HTTP协议是明文传输的，这意味着传输的数据不加密，可能容易被窃听和篡改。它通常使用80端口进行通信。

HTTPS（Hypertext Transfer Protocol Secure）： HTTPS是HTTP的安全版本，它通过使用加密和认证机制来保护传输的数据。在HTTPS中，数据被加密后传输，从而更难以被窃听和篡改。为了实现加密，HTTPS使用了SSL（Secure Sockets Layer）或TLS（Transport Layer Security）协议。HTTPS通常使用443端口进行通信。

主要区别：

  1. 安全性： 最显著的区别是安全性。HTTP不加密数据，而HTTPS通过加密保护数据传输，确保数据的机密性和完整性。

  2. 加密： HTTPS使用SSL或TLS协议对数据进行加密，使得数据在传输过程中无法被轻易窃听或篡改。HTTP不提供加密，数据可能被第三方监视和修改。

  3. 认证： HTTPS在加密过程中还可以对服务器进行身份认证，确保您与正确的服务器进行通信。HTTP不提供此功能，可能容易受到中间人攻击。

  4. URL前缀： HTTP的URL以 "http://" 开头，而HTTPS的URL以 "https://" 开头。

        虽然HTTPS在安全性方面优于HTTP，但由于加密和解密过程会带来一些计算开销，所以HTTPS稍微比HTTP慢一些。然而，随着计算能力的提升，HTTPS的性能差距逐渐减小。

        在现代网络中，保护用户隐私和数据的安全性非常重要，因此，许多网站都在切换到使用HTTPS来确保用户数据的保护。

3 HTTP请求过程

 3.1 HTTP请求过程

         HTTP请求过程涉及客户端向服务器发送请求，服务器处理请求并返回响应。以下是HTTP请求的基本过程：

  1. 客户端发起HTTP请求，包括请求方法（GET、POST等）、目标URL、请求头、请求体等。
  2. 服务器接收并处理请求，根据请求方法和URL找到对应的资源。
  3. 服务器生成HTTP响应，包括状态码、响应头、响应体等。
  4. 服务器将响应发送回客户端。
  5. 客户端接收响应并处理响应内容。

3.2 GET请求与POST请求

         GET和POST是HTTP请求方法，用于向服务器发送请求。

  • GET请求： 用于从服务器获取数据，通过URL传递参数，请求参数在URL中可见，适用于获取数据。
  • POST请求： 用于向服务器提交数据，请求参数在请求体中传递，对数据进行添加、修改等操作。

3.3 常用请求报头

         HTTP请求中的请求报头（Request Headers）包含关于请求的额外信息，如用户代理、内容类型等。以下是一些常见的请求报头：

  • User-Agent： 标识客户端（通常是浏览器）的类型和版本。
  • Content-Type： 指定请求体的媒体类型（如application/json、application/x-www-form-urlencoded等）。
  • Authorization： 包含认证凭据，用于进行身份验证。
  • Referer： 指示请求的来源URL，用于防止CSRF攻击。
  • Cookie： 包含客户端的Cookie信息，用于保持会话状态。

3.4 HTTP响应

         HTTP响应包含服务器对请求的处理结果，包括状态码、响应头、响应体等。

  • 状态码（Status Code）： 表示服务器对请求的处理状态，如200 OK表示成功，404 Not Found表示未找到资源。
  • 响应头（Response Headers）： 包含关于响应的元信息，如Content-Type、Server等。
  • 响应体（Response Body）： 包含实际的响应内容，如网页的HTML内容、JSON数据等。

以下是一个示例，演示使用Python的requests库发送GET请求，然后解析并打印响应内容：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print("Status Code:", response.status_code)
print("Headers:", response.headers)
print("Content:", response.text)

4 HTTP请求库requests 常用语法

  requests是一个常用的Python库，用于发送HTTP请求和处理HTTP响应。以下是requests库的基本用法示例：

首先，确保您已经安装了requests库。如果没有安装，您可以使用以下命令进行安装：

pip install requests

然后，您可以在Python代码中导入requests库并使用它发送HTTP请求和处理响应。

4.1 发送GET请求

        使用requests.get()方法，以下示例演示如何使用requests库发送一个简单的GET请求并处理响应：

import requests

# 发送GET请求获取网页内容
url = 'https://www.baidu.com'  # 替换为您要访问的网页URL
response = requests.get(url)
response.encoding = 'utf-8'  # 指定编码为UTF-8
html_content = response.text

# 输出网页内容
print(html_content)

常用语法：

发起GET请求：

import requests

response = requests.get('https://www.example.com')
print(response.text)  # 输出响应内容

发起带参数的GET请求：

params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://www.example.com', params=params)

 发送请求并设置Headers：

headers = {'User-Agent': 'My User Agent'}
response = requests.get('https://www.example.com', headers=headers)

获取响应状态码：

response = requests.get('https://www.example.com')
status_code = response.status_code

 获取响应头部信息：

response = requests.get('https://www.example.com')
headers = response.headers

获取响应内容（字节）

response = requests.get('https://www.example.com')
content = response.content

 获取响应内容（文本）

response = requests.get('https://www.example.com')
text = response.text

处理响应中的JSON数据：

response = requests.get('https://api.example.com/data.json')
data = response.json()

 处理超时：

try:
    response = requests.get('https://www.example.com', timeout=5)  # 5秒超时
except requests.Timeout:
    print("请求超时")

处理异常：

try:
    response = requests.get('https://www.example.com')
    response.raise_for_status()  # 抛出HTTP错误状态码异常
except requests.HTTPError as http_err:
    print(f"HTTP错误: {http_err}")
except requests.RequestException as req_err:
    print(f"请求异常: {req_err}")

 4.2 发送POST请求

以下示例演示如何使用requests库发送一个POST请求并附带数据：

import requests

# 登录URL和登录所需的数据
login_url = 'https://mail.163.com/'
login_data = {
    'username': 'your_username',  # 替换为您的邮箱用户名
    'password': 'your_password'   # 替换为您的邮箱密码
}

# 创建会话对象
session = requests.Session()

# 发送POST请求模拟登录
response = session.post(login_url, data=login_data)

# 检查登录是否成功
if '退出' in response.text:
    print("Login successful.")
else:
    print("Login failed.")

        在这个示例代码中，我们使用requests.Session()来创建一个会话对象，这样可以在多个请求之间保持会话状态。然后，我们使用session.post()方法发送POST请求来模拟登录。在这个例子中，我们使用了163邮箱的登录页面作为示范，您需要替换login_url和login_data为实际的登录URL和登录所需的数据。

        请注意，这只是一个简单示例，实际的网站可能会有更复杂的登录逻辑，如验证码、动态令牌等。同时，爬虫访问网站时需要遵守网站的使用规则和政策，确保您的行为合法和合规。

常用语法：

发送POST请求 

data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.example.com', data=data)

 发送JSON数据的POST请求：

import json

data = {'key1': 'value1', 'key2': 'value2'}
headers = {'Content-Type': 'application/json'}
response = requests.post('https://www.example.com', data=json.dumps(data), headers=headers)

4.3 请求参数和头部

        在使用requests库发送HTTP请求时，您可以通过请求参数和头部来传递附加的信息。请求参数通常用于GET请求或者带有查询参数的请求，而请求头部用于传递各种信息，如用户代理、Cookie等。以下是关于请求参数和头部的示例代码：

import requests

# 请求参数示例
params = {
    'key1': 'value1',
    'key2': 'value2'
}

# 请求头部示例
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Referer': 'https://www.baiud.com',
    'Cookie': 'your_cookie_data'
}

# 发送GET请求，带参数和头部
url = 'https://www.baidu.com'  # 替换为您要访问的网页URL
response = requests.get(url, params=params, headers=headers)

# 输出响应内容
print(response.text)

4.4 编码格式

        在使用requests库发送HTTP请求时，编码格式（也称为字符集或字符编码）是指用于解码响应内容的规则。requests库会尝试自动识别并设置响应的编码格式，但有时您可能需要手动设置编码以确保正确解析响应内容。

以下是一些关于编码格式的详解和示例：

  1. 自动识别编码： 默认情况下，requests库会根据响应头中的Content-Type字段来尝试自动识别响应的编码格式。例如，如果Content-Type中包含charset=utf-8，requests会使用UTF-8编码来解码响应内容。

  2. 手动设置编码： 如果自动识别的编码不正确，您可以手动设置编码来解决乱码问题。通过将response.encoding设置为适当的编码，可以确保正确解码响应内容。

下面是一个示例，演示了如何手动设置编码格式以正确解析响应内容：

import requests

# 发送GET请求获取网页内容
url = 'https://www.baidu.com'  # 替换为您要访问的网页URL
response = requests.get(url)
response.encoding = 'utf-8'  # 手动设置编码为UTF-8

# 输出响应内容
print(response.text)

4.5 requests高级操作-文件上传

    requests库允许您发送文件上传请求，即将文件作为请求的一部分发送到服务器。这在与包含文件上传功能的API进行交互时非常有用。

        要发送文件上传请求，您可以使用requests.post()方法，并通过files参数传递要上传的文件。files参数应该是一个字典，其中键是字段名称，值是文件对象。文件对象可以通过open()函数来创建。

以下是一个简单的文件上传示例，假设您要将一个本地文件上传到服务器：

import requests

# 目标URL和文件路径
url = 'https://www.example.com/upload'  # 替换为实际的上传URL
file_path = 'path/to/your/file.txt'  # 替换为实际的文件路径

# 创建文件对象
with open(file_path, 'rb') as file:
    files = {'file': file}  # 'file'是字段名称，可以根据实际情况更改

    # 发送文件上传请求
    response = requests.post(url, files=files)

# 输出响应内容
print(response.text)

在这个示例中，我们使用open()函数以二进制模式打开文件，然后将文件对象传递给files参数。在files字典中，键是服务器期望接收的字段名称，值是文件对象。您需要将'file'替换为实际字段名称。

请注意，实际的服务器可能需要其他额外的字段或参数，如身份验证、令牌等。您需要根据实际情况调整代码。

4.6 requests高级操作-获取cookie

        在requests库中，您可以通过response.cookies属性来获取从服务器接收的Cookie信息。Cookies是服务器在HTTP响应头中设置的一些键值对，用于在客户端和服务器之间存储状态信息。以下是获取Cookie的详细说明和示例：

import requests

# 发送GET请求获取网页内容
url = 'https://www.example.com'  # 替换为您要访问的网页URL
response = requests.get(url)

# 获取响应中的Cookie信息
cookies = response.cookies

# 打印Cookie信息
for cookie in cookies:
    print("Name:", cookie.name)
    print("Value:", cookie.value)

        在这个示例中，我们使用requests.get()方法发送GET请求，并通过response.cookies属性来获取响应中的Cookie信息。response.cookies返回一个RequestsCookieJar对象，您可以通过遍历它来获取每个Cookie的名称和值。

        请注意，响应中可能会包含多个Cookie，每个Cookie都是一个键值对。您可以根据实际需求进一步处理这些Cookie信息，如存储到会话中、发送到下一个请求中等。

此外，如果您想手动设置Cookie并在后续请求中使用它们，可以通过在请求头部中添加Cookie字段来实现。例如：

import requests

# 设置Cookie
cookies = {'cookie_name': 'cookie_value'}

# 发送GET请求并添加Cookie到请求头部
url = 'https://www.example.com'  # 替换为您要访问的网页URL
response = requests.get(url, cookies=cookies)

# 处理响应...

 在这个示例中，我们使用cookies参数将要发送的Cookie信息添加到请求中。这对于需要手动处理Cookie的情况非常有用。

4.7 request高级操作-证书验证

在requests库中，您可以通过verify参数来控制是否对SSL证书进行验证。SSL证书验证是用于确保与服务器建立安全的加密连接的过程。默认情况下，requests库会验证SSL证书，但您可以通过设置verify参数来禁用验证或提供自定义证书。

以下是关于证书验证的详细说明和示例：

  1. 默认验证： 默认情况下，requests库会验证SSL证书。这是安全的做法，确保与服务器之间的通信是加密的。例如：

import requests

# 发送GET请求
url = 'https://www.example.com'  # 替换为您要访问的网页URL
response = requests.get(url)

# 处理响应...

禁用验证： 在某些情况下，您可能想要禁用证书验证，例如访问自签名证书的服务器。您可以通过将verify参数设置为False来禁用验证：

import requests

# 发送GET请求并禁用证书验证
url = 'https://www.example.com'  # 替换为您要访问的网页URL
response = requests.get(url, verify=False)

# 处理响应...

 请注意，禁用证书验证会降低安全性，仅在了解风险的情况下使用。

自定义证书： 如果需要连接到使用自定义证书的服务器，您可以提供证书文件的路径作为verify参数的值：

import requests

# 发送GET请求并使用自定义证书进行验证
url = 'https://www.example.com'  # 替换为您要访问的网页URL
response = requests.get(url, verify='/path/to/custom/certificate.pem')

# 处理响应...

 在这个示例中，/path/to/custom/certificate.pem是您的自定义证书文件的路径。

 请注意，为了保护您的数据安全，建议在实际应用中保持证书验证的开启状态。如果您需要在特定情况下禁用或自定义证书验证，请确保您理解可能的安全风险并采取适当的措施。

5 实战

利用requests 库抓取2023年高考新闻的标题和链接

import requests
from bs4 import BeautifulSoup
import time

def fetch_news_by_page(page_number):
    keyword = "2023年高考录取"
    results_per_page = 10
    pn = (page_number - 1) * results_per_page

    # 构造搜索的URL，包括搜索关键词和分页参数
    url = f"https://www.baidu.com/s?wd={keyword}&pn={pn}"
    
    # 添加头部信息模拟浏览器请求
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36",
        "Referer": "https://www.baidu.com/"
    }

    # 发送请求
    response = requests.get(url, headers=headers)

    # 如果请求成功
    if response.status_code == 200:
        # 解析网页内容
        soup = BeautifulSoup(response.text, 'html.parser')
        news_list = []

        # 找到所有的新闻标题和链接
        for news in soup.find_all('div', class_='result'):
            title_elem = news.find('h3', class_='t')
            title = title_elem.get_text() if title_elem else None

            link_elem = news.find('a')
            link = link_elem['href'] if link_elem and 'href' in link_elem.attrs else None

            if title and link:
                news_list.append({"title": title, "link": link})

        return news_list
    else:
        print("请求失败，状态码：", response.status_code)
        return None

if __name__ == "__main__":
    for page in range(1, 4):  # 输出前三页
        print(f"第{page}页的搜索结果：")
        news = fetch_news_by_page(page)
        if news:
            for idx, item in enumerate(news, start=1):
                print(f"{idx}. {item['title']}")
                print(f"   Link: {item['link']}")
                print("=" * 50)
        else:
            print("没有搜索结果。")
        time.sleep(2)  # 添加延时，模拟人类浏览行为

输出如下：

         这段代码是一个Python网络爬虫，用于从百度搜索引擎中抓取关于"2023年高考录取"的新闻标题和链接。

  1. 首先，它导入了requests库（用于发送HTTP请求）、BeautifulSoup库（用于解析HTML文档）和time库（用于暂停程序执行）。

  2. 首先，它定义了一个函数fetch_news_by_page()，这个函数接受一个参数page_number，表示要抓取的页数。

  3. 在函数内部，首先定义了搜索关键词"2023年高考录取"和每页显示的结果数量results_per_page。

  4. 然后，构造了百度搜索的URL，包括搜索关键词和分页参数。这里使用了f-string格式化字符串，将page_number和results_per_page插入到URL中。

  5. 接着，定义了一个headers字典，其中包含了User-Agent和Referer两个字段，用于模拟浏览器发送请求。

  6. 使用requests.get()函数发送GET请求，将headers字典作为参数传入。

  7. 如果请求成功（即HTTP状态码为200），则使用BeautifulSoup解析返回的HTML文档。

  8. 在解析后的HTML文档中，找到所有的新闻标题和链接。这里使用了find_all()函数查找所有class为'result'的div元素，然后在每个div元素中查找h3标签（class为't'）和a标签。

  9. 如果找到了标题和链接，就添加到news_list列表中。

  10. 最后，如果请求失败，就打印出失败的状态码，并返回None。

  11. 在主程序中，调用fetch_news_by_page()函数，遍历前三页的搜索结果，并打印出来。为了避免频繁的网络请求，每次打印结果后都暂停了2秒。

上一篇：

【100天精通python】Day41：python网络爬虫开发_爬虫基础入门_LeapMay的博客-CSDN博客网络爬虫（Web Crawler），是一种自动化程序，用于在互联网上浏览和抓取信息。爬虫可以遍历网页，收集数据，提取信息，以便于进一步处理和分析。网络爬虫在搜索引擎、数据采集、信息监测等领域发挥着重要作用。1.1 工作原理初始URL选择： 爬虫从一个或多个初始URL开始，这些URL通常是你希望开始爬取的网站的主页或其他页面。发送HTTP请求： 对于每个初始URL，爬虫会发送HTTP请求以获取网页内容。https://blog.csdn.net/qq_35831906/article/details/132377113?spm=1001.2014.3001.5502

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/82031.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

UGUI可视化组件Image, RawImage

UGUI可视化组件Image, RawImage

一.组件Image 1.1 Image的属性 创建的Image对象自带Image组件，用来显示图片，其属性说明如下 属性：功能：Source Image表示要显示的图像的纹理（必须作为精灵导入）。Color要应用于图像的颜色，会和…
阅读更多...
【NetCore】09-中间件

【NetCore】09-中间件

文章目录 中间件：掌控请求处理过程的关键1. 中间件1.1 中间件工作原理1.2 中间件核心对象 2.异常处理中间件:区分真异常和逻辑异常2.1 处理异常的方式2.1.1 日常错误处理--定义错误页的方法2.1.2 使用代理方法处理异常2.1.3 异常过滤器 IExceptionFilter2.1.4 特性过…
阅读更多...
更安全，更高效的自学网络安全与黑客技术

更安全，更高效的自学网络安全与黑客技术

学习网络安全（黑客技术） 网络安全是：黑客技术是：网络安全与黑客技术的关系：自学网络安全学习的误区和陷阱：学习网络安全前期需要准备...学习网络安全中期大致步骤：学习网络安全推荐的学习资料&a…
阅读更多...
电商增强现实3D模型优化需要关注的4个方面

电商增强现实3D模型优化需要关注的4个方面

到目前为止，AR技术已经发展到足以在更广泛的范围内实施。 在电子商务中，这项技术有望提供更令人兴奋的购物体验。 为了实现这一目标，在这篇博客中，我将介绍如何针对电子商务中的 AR 优化 3D 模型。 推荐：用 NSDT编辑器…
阅读更多...
SpringBoot 学习(03): 弱语言的注解和SpringBoot注解的异同

SpringBoot 学习(03): 弱语言的注解和SpringBoot注解的异同

弱语言代表：Hyperf，一个基于 PHP Swoole 扩展的常驻内存框架 注解概念的举例说明； 说白了就是，你当领导，破烂事让秘书帮你去安排，你只需要批注一下，例如下周要举办一场活动，秘书将方…
阅读更多...
ARM体系结构学习笔记：任何算法可通过下面的三种模式组合而成

ARM体系结构学习笔记：任何算法可通过下面的三种模式组合而成

任何算法可通过下面的三种模式组合而成 条件跳转和无条件跳转 条件命名规则 关于比较的一些哲学问题 汇编实现if else [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R8R5cYTQ-1692236026691)(https://cdn.jsdelivr.net/gh/nzcv/picgo/202201172242…
阅读更多...
数据结构——B-树、B+树、B*树

数据结构——B-树、B+树、B*树

一、B-树 1. B-树概念 B树是一种适合外查找的、平衡的多叉树。一棵m阶（m>2）的B树，是一棵平衡的M路平衡搜索树，它可以是空树或满足以下性质： （1）根节点至少有两个孩子。 （2&#…
阅读更多...
Redisson实现分布式锁示例

Redisson实现分布式锁示例

一、引入依赖 <dependency><groupId>org.redisson</groupId><artifactId>redisson</artifactId><version>3.16.0</version></dependency>二、配置类 import org.redisson.Redisson; import org.redisson.api.RedissonClient;…
阅读更多...
axios使用axiosSource.cancel取消请求后怎么恢复请求，axios取消请求和恢复请求实现

axios使用axiosSource.cancel取消请求后怎么恢复请求，axios取消请求和恢复请求实现

在前端做大文件分片上传&#xff0c;或者其它中断请求时&#xff0c;需要暂停或重新请求&#xff0c;比如这里大文件上传时&#xff0c;可能会需要暂停、继续上传&#xff0c;如下GIF演示&#xff1a; 这里不详细说文件上传的处理和切片细节&#xff0c;后续有时间在出一篇&a…
阅读更多...
基于 Vercel TiDB Serverless 的 chatbot

基于 Vercel TiDB Serverless 的 chatbot

作者&#xff1a; shiyuhang0 原文来源&#xff1a; https://tidb.net/blog/7b5fcdc9 # 前言 TiDB Serverless 去年就有和 Vercel 的集成了&#xff0c;同时还有一个 bookstore template 方便大家体验。但个人感觉 bookstore 不够炫酷&#xff0c;借 2023 TiDB hackthon 的…
阅读更多...
【Redis】什么是缓存穿透，如何预防缓存穿透？

【Redis】什么是缓存穿透，如何预防缓存穿透？

【Redis】什么是缓存穿透&#xff0c;如何预防缓存穿透&#xff1f; 缓存穿透是指查询一个一定不存在的数据&#xff0c;由于缓存中不存在&#xff0c;这时会去数据库查询查不到数据则不写入缓存&#xff0c;这将导致这个不存在的数据每次请求都要到数据库去查询&#xff0c;这…
阅读更多...
上海亚商投顾盘：沪指震荡反弹 机器人概念股掀涨停潮

上海亚商投顾盘：沪指震荡反弹 机器人概念股掀涨停潮

上海亚商投顾前言&#xff1a;无惧大盘涨跌&#xff0c;解密龙虎榜资金&#xff0c;跟踪一线游资和机构资金动向&#xff0c;识别短期热点和强势个股。 市场情绪 三大指数今日震荡反弹&#xff0c;科创50盘中涨超1%。机器人概念股掀涨停潮&#xff0c;通力科技、昊志机电、哈焊…
阅读更多...
[mysql系列] mysql 数据库如何实现事务回滚

[mysql系列] mysql 数据库如何实现事务回滚

这里写自定义目录标题 一、事务回滚二、mysql InnoDB引擎如何实现回滚操作2.1 InnoDB引擎的 undo log2.2 具体实现2.2.1 insert 操作2.2.2 delete 操作2.2.3 update 操作 主要参考资料为&#xff1a;《Mysql 是怎样运行的》 一、事务回滚 根据原子性的定义&#xff0c;一个事务…
阅读更多...
AVL树的讲解

AVL树的讲解

算法拾遗三十八AVL树 AVL树AVL树平衡性AVL树加入节点AVL删除节点AVL树代码 AVL树 AVL树具有最严苛的平衡性&#xff0c;&#xff08;增、删、改、查&#xff09;时间复杂度为O&#xff08;logN&#xff09;&#xff0c;AVL树任何一个节点&#xff0c;左树的高度和右树的高度差…
阅读更多...
【操作系统】虚拟内存相关分段分页页面置换算法

【操作系统】虚拟内存相关分段分页页面置换算法

虚拟内存是什么&#xff1f; 【进程地址空间虚拟地址空间C/C程序地址空间就是那个4G的空间】 虚拟内存是操作系统内核为了对进程地址空间进行管理&#xff0c;而设计的一个逻辑意义上的内存空间概念。在程序运行过程中&#xff0c;虚拟内存中需要被访问的部分会被映射到物理内…
阅读更多...
JVM元空间溢出的排除思路

JVM元空间溢出的排除思路

背景&#xff1a; java的应用我们为了防止元空间的无限扩展&#xff0c;一般都会设置MaxMetaSpace参数&#xff0c;一般来说只要这个值是512M或者1G左右就足够了&#xff0c;不过今天遇到一个meta空间溢出问题&#xff0c;简单记录下排除的思路 meta元空间溢出 最开始的现象…
阅读更多...
ARM--day6(实现字符、字符串收发的代码和现象，分析RCC、GPIO、UART章节)

ARM--day6(实现字符、字符串收发的代码和现象，分析RCC、GPIO、UART章节)

uart4.h #ifndef __UART4_H__ #define __UART4_H__#include "stm32mp1xx_rcc.h" #include "stm32mp1xx_gpio.h" #include "stm32mp1xx_uart.h"//RCC/GPIO/UART4章节初始化 void hal_uart4_init();//发送一个字符函数 void hal_put_char(const c…
阅读更多...
简单理解Linux中的一切皆文件

简单理解Linux中的一切皆文件

一款操作系统要管理各种各样不同的硬件&#xff0c;因为硬件的不同所以它们使用的文件系统也不同。但是按道理来说&#xff0c;文件系统的不同对于用户来说可不是一件好事&#xff0c;操作不同的硬件就要使用不同的方法。 但是Linux有一切皆文件。 简单来说&#xff0c;Linux…
阅读更多...
Android 多渠道打包及VasDolly使用

Android 多渠道打包及VasDolly使用

目录 1.添加productFlavors的配置buildConfigFieldmanifestPlaceholdersresValue 2.设置apk文件的名称&#xff0c;便于识别3.添加vasdolly、添加gradle脚本&#xff08;windows&#xff09; 作用&#xff1a;一次性可以打多个apk包&#xff0c;名字、包名、logo等可以不相同。…
阅读更多...
Java调用https接口添加证书

Java调用https接口添加证书

使用InstallCert.Java生成证书 /** Copyright 2006 Sun Microsystems, Inc. All Rights Reserved.** Redistribution and use in source and binary forms, with or without* modification, are permitted provided that the following conditions* are met:** - Redistri…
阅读更多...
最新文章

Copyright @ 2022~2023