使用orjson库提升Python JSON处理性能

使用orjson库提升Python JSON处理性能

引言

在现代软件开发中，JSON（JavaScript Object Notation）作为一种轻量级的数据交换格式，广泛应用于Web服务、配置文件、数据存储等场景。Python作为一门流行的编程语言，提供了多种处理JSON数据的库，如标准库中的json模块。然而，随着数据量的增加和性能要求的提高，标准库在处理大规模JSON数据时可能会遇到性能瓶颈。本文将介绍一个高性能的JSON处理库——orjson，探讨其优势、使用方法以及在实际项目中的应用。

1. orjson库简介

1.1 什么是orjson？

orjson是一个快速、正确的JSON库，专为Python设计。它由Rust编写，提供了比Python标准库json模块更快的序列化和反序列化速度。orjson支持Python 3.6及以上版本，并且与标准库API兼容，使得迁移和使用更加方便。

1.2 orjson的优势

  • 高性能：orjson在序列化和反序列化速度上显著优于标准库json模块，尤其是在处理大规模数据时。
  • 内存效率：orjson在内存使用上更为高效，减少了内存占用和垃圾回收的压力。
  • 兼容性：orjson与标准库API兼容，支持大部分标准库的功能，如dumps、loads等。
  • 安全性：orjson在解析JSON时进行了严格的安全性检查，防止了潜在的安全漏洞。

2. 安装orjson

2.1 使用pip安装

orjson可以通过pip安装，命令如下：

pip install orjson

2.2 验证安装

安装完成后，可以通过以下命令验证orjson是否安装成功：

import orjson
print(orjson.__version__)

如果输出了版本号，说明安装成功。

3. orjson的基本使用

3.1 序列化（dumps）

orjson的dumps函数用于将Python对象序列化为JSON格式的字符串。与标准库json模块的dumps函数类似，但速度更快。

import orjson

data = {
    "name": "Alice",
    "age": 30,
    "is_student": False,
    "courses": ["Math", "Science"]
}

json_str = orjson.dumps(data)
print(json_str)

3.2 反序列化（loads）

orjson的loads函数用于将JSON格式的字符串反序列化为Python对象。

import orjson

json_str = b'{"name": "Alice", "age": 30, "is_student": false, "courses": ["Math", "Science"]}'
data = orjson.loads(json_str)
print(data)

3.3 处理复杂数据类型

orjson支持处理复杂的数据类型，如datetime对象、UUID、bytes等。

import orjson
from datetime import datetime
from uuid import UUID

data = {
    "id": UUID("123e4567-e89b-12d3-a456-426614174000"),
    "created_at": datetime.now(),
    "data": b"binary data"
}

json_str = orjson.dumps(data)
print(json_str)

4. orjson的高级功能

4.1 自定义序列化

orjson允许通过option参数自定义序列化行为。例如，可以指定orjson.OPT_INDENT_2来生成缩进的JSON字符串。

import orjson

data = {
    "name": "Alice",
    "age": 30,
    "is_student": False,
    "courses": ["Math", "Science"]
}

json_str = orjson.dumps(data, option=orjson.OPT_INDENT_2)
print(json_str)

4.2 处理非ASCII字符

orjson默认将非ASCII字符转义为\uXXXX格式。可以通过orjson.OPT_NON_STR_KEYS选项来处理非字符串键。

import orjson

data = {
    "name": "Alice",
    "age": 30,
    "is_student": False,
    "courses": ["Math", "Science"],
    "非ASCII键": "值"
}

json_str = orjson.dumps(data, option=orjson.OPT_NON_STR_KEYS)
print(json_str)

4.3 处理大整数

orjson默认将大整数序列化为字符串，以避免精度丢失。可以通过orjson.OPT_SERIALIZE_NUMPY选项来处理NumPy数组。

import orjson
import numpy as np

data = {
    "large_int": 2**64,
    "numpy_array": np.array([1, 2, 3])
}

json_str = orjson.dumps(data, option=orjson.OPT_SERIALIZE_NUMPY)
print(json_str)

5. orjson的性能对比

5.1 序列化性能对比

我们通过一个简单的性能测试来对比orjson和标准库json模块的序列化速度。

import timeit
import json
import orjson

data = {
    "name": "Alice",
    "age": 30,
    "is_student": False,
    "courses": ["Math", "Science"]
}

def test_json_dumps():
    return json.dumps(data)

def test_orjson_dumps():
    return orjson.dumps(data)

print("json.dumps:", timeit.timeit(test_json_dumps, number=100000))
print("orjson.dumps:", timeit.timeit(test_orjson_dumps, number=100000))

5.2 反序列化性能对比

同样地，我们对比orjson和标准库json模块的反序列化速度。

import timeit
import json
import orjson

json_str = b'{"name": "Alice", "age": 30, "is_student": false, "courses": ["Math", "Science"]}'

def test_json_loads():
    return json.loads(json_str)

def test_orjson_loads():
    return orjson.loads(json_str)

print("json.loads:", timeit.timeit(test_json_loads, number=100000))
print("orjson.loads:", timeit.timeit(test_orjson_loads, number=100000))

5.3 性能分析

通过上述测试，我们可以看到orjson在序列化和反序列化速度上显著优于标准库json模块。尤其是在处理大规模数据时，orjson的性能优势更加明显。

6. orjson在实际项目中的应用

6.1 Web服务中的JSON处理

在Web服务中，JSON常用于API的请求和响应。使用orjson可以显著提升API的性能，尤其是在高并发场景下。

from fastapi import FastAPI
import orjson

app = FastAPI()

@app.get("/data")
async def get_data():
    data = {
        "name": "Alice",
        "age": 30,
        "is_student": False,
        "courses": ["Math", "Science"]
    }
    return orjson.dumps(data)

6.2 数据存储中的JSON处理

在数据存储中，JSON常用于存储结构化数据。使用orjson可以加快数据的读写速度，减少I/O等待时间。

import orjson

def save_data(data, filename):
    with open(filename, "wb") as f:
        f.write(orjson.dumps(data))

def load_data(filename):
    with open(filename, "rb") as f:
        return orjson.loads(f.read())

data = {
    "name": "Alice",
    "age": 30,
    "is_student": False,
    "courses": ["Math", "Science"]
}

save_data(data, "data.json")
loaded_data = load_data("data.json")
print(loaded_data)

6.3 大数据处理中的JSON处理

在大数据处理中，JSON常用于数据的传输和存储。使用orjson可以加快数据的处理速度，提升整体性能。

import orjson
import pandas as pd

# 假设我们有一个包含大量JSON数据的文件
def process_large_json(filename):
    with open(filename, "rb") as f:
        for line in f:
            data = orjson.loads(line)
            # 处理数据
            print(data)

# 将DataFrame保存为JSON格式
df = pd.DataFrame({
    "name": ["Alice", "Bob"],
    "age": [30, 25],
    "is_student": [False, True]
})

df.to_json("large_data.json", orient="records", lines=True)
process_large_json("large_data.json")

7. orjson的局限性

尽管orjson在性能和功能上有诸多优势，但在某些场景下仍存在局限性：

  • 不支持自定义编码器：orjson不支持像标准库json模块那样的自定义编码器（default参数）。
  • 不支持部分标准库功能：orjson不支持json模块中的indent、separators等参数。
  • 依赖Rust：orjson依赖于Rust编写，可能需要额外的编译环境支持。

8. 总结

orjson是一个高性能的JSON处理库，适用于需要快速处理大规模JSON数据的场景。通过本文的介绍，我们了解了orjson的优势、安装方法、基本使用、高级功能、性能对比以及在实际项目中的应用。尽管orjson在某些方面存在局限性，但其在性能和内存效率上的优势使其成为Python开发者的有力工具。

在实际项目中，开发者可以根据具体需求选择合适的JSON处理库。对于性能要求较高的场景，orjson无疑是一个值得考虑的选择。希望本文能帮助读者更好地理解和使用orjson，提升Python项目的JSON处理性能。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/967493.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Linux——基础命令1

Linux——基础命令1

$：普通用户 #：超级用户 cd 切换目录 cd 目录 （进入目录） cd ../ （返回上一级目录） cd ~ （切换到当前用户的家目录） cd - （返回上次目录） pwd 输出当前目录…
阅读更多...
OpenFeign远程调用返回的是List＜T＞类型的数据

OpenFeign远程调用返回的是List＜T＞类型的数据

在使用 OpenFeign 进行远程调用时，如果接口返回的是 List 类型的数据，可以通过以下方式处理： 直接定义返回类型为List Feign 默认支持 JSON 序列化/反序列化，如果服务端返回的是 List的JSON格式数据，可以直接在 Feig…
阅读更多...
向量数据库简单对比

向量数据库简单对比

文章目录 一、Chroma二、Pinecone/腾讯云VectorDB/VikingDB三、redis四、Elasticsearch五、Milvus六、Qdrant七、Weaviate八、Faiss 一、Chroma 官方地址： https://www.trychroma.com/优点 ①简单，非常简单构建服务。 ②此外，Chroma还具有自…
阅读更多...
字符指针、数组指针和函数指针

字符指针、数组指针和函数指针

1. 字符指针变量 1.1 简单例子 字符指针 char* 在C语言中主要由两种用法： 1.用于存放一个字符变量的地址。 2.用字符指针接收一个字符串。 这里并不是将整个字符串的地址存入 pstr 指针，指针变量 pstr 中存放的是常量字符串的首字符 h 的地址。 以一个…
阅读更多...
【Linux网络编程】之守护进程

【Linux网络编程】之守护进程

【Linux网络编程】之守护进程 进程组进程组的概念组长进程 会话会话的概念会话ID 控制终端控制终端的概念控制终端的作用会话、终端、bash三者的关系 前台进程与后台进程概念特点查看当前终端的后台进程前台进程与后台进程的切换 作业控制相关概念作业状态（一般指后…
阅读更多...
JS宏进阶：XMLHttpRequest对象

JS宏进阶：XMLHttpRequest对象

一、概述 XMLHttpRequest简称XHR，它是一个可以在JavaScript中使用的对象，用于在后台与服务器交换数据，实现页面的局部更新，而无需重新加载整个页面，也是Ajax（Asynchronous JavaScript and XML）…
阅读更多...
怎么查看电脑显存大小（查看电脑配置）

怎么查看电脑显存大小（查看电脑配置）

这里提供一个简单的方法查看 winr打开cmd 终端输入dxdiag进入DirectX 点击显示查看设备的显示内存（VRAM） 用这个方法查看电脑配置和显存是比较方便的 dxdiag功能 Dxdiag是Windows的DirectX诊断工具，其主要作用包括但不限于以下几点&#…
阅读更多...
优惠券平台（一）：基于责任链模式创建优惠券模板

优惠券平台（一）：基于责任链模式创建优惠券模板

前景概要 系统的主要实现是优惠券的相关业务，所以对于用户管理的实现我们简单用拦截器在触发接口前创建一个单一用户。 // 用户属于非核心功能，这里先通过模拟的形式代替。后续如果需要后管展示，会重构该代码 UserInfoDTO userInfoDTO new…
阅读更多...
【机器学习】数据预处理之scikit-learn的Scaler与自定义Scaler类进行数据归一化

【机器学习】数据预处理之scikit-learn的Scaler与自定义Scaler类进行数据归一化

scikit-learn的Scaler数据归一化 一、摘要二、训练数据集和测试数据集的归一化处理原则三、scikit-learn中的Scalar类及示例四、自定义StandardScaler类进行数据归一化处理五、小结 一、摘要 本文主要介绍了scikit-learn中Scaler的使用方法，特别强调了数据归一化在…
阅读更多...
机器学习中过拟合和欠拟合问题处理方法总结

机器学习中过拟合和欠拟合问题处理方法总结

目录 一、背景二、过拟合(Overfitting)2.1 基本概念2.2 过拟合4个最主要的特征2.3 防止过拟合的11个有效方法 三、欠拟合（Underfitting）3.1 基本概念3.2 欠拟合的4个特征3.3 防止欠拟合的11个有效方法 四、总结五、参考资料 一、背景 在机器学习模型训练…
阅读更多...
ABP框架9——自定义拦截器的实现与使用

ABP框架9——自定义拦截器的实现与使用

一、AOP编程 AOP定义:面向切片编程，着重强调功能，将功能从业务逻辑分离出来。AOP使用场景：处理通用的、与业务逻辑无关的功能（如日志记录、性能监控、事务管理等）拦截器:拦截方法调用并添加额外的行为，比如…
阅读更多...
基于YoloV11和驱动级鼠标模拟实现Ai自瞄

基于YoloV11和驱动级鼠标模拟实现Ai自瞄

本文将围绕基于 YoloV11 和驱动级鼠标实现 FPS 游戏 AI 自瞄展开阐述。 需要着重强调的是，本文内容仅用于学术研究和技术学习目的。严禁任何个人或组织将文中所提及的技术、方法及思路应用于违法行为，包括但不限于在各类游戏中实施作弊等违规操作。若因违…
阅读更多...
示例代码：C# MQTTS双向认证（客户端）(服务器EMQX)

示例代码：C# MQTTS双向认证（客户端）(服务器EMQX)

初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的，可以在任何平台上使用。 源码指引：github源…
阅读更多...
记录IMX6ULL开发板上移植SQLite3并运行Qt程序

记录IMX6ULL开发板上移植SQLite3并运行Qt程序

文章目录 概要移植SQLite3Qt程序部署实验现象 概要 基于上一章对使用Qt运行对应的实验实例来完成对用户使用ui界面完成对SQLite数据库的增删改查等操作。本文旨在对上一句节的Qt程序部署到IMX6ULL开发板，并且完成对SQLite数据库在IMX6ULL开发板上的移植。 移植SQ…
阅读更多...
达梦数据库（DM）线程管理

达梦数据库（DM）线程管理

目录标题 达梦数据库（DM）线程管理笔记一、DM 线程架构概述二、DM 主要线程类型及功能（一）监听线程（二）工作线程（三）IO 线程（四）调度线程（五&#…
阅读更多...
02.10 TCP之文件传输

02.10 TCP之文件传输

1.思维导图 2.作业 服务器代码&#xff1a; #include <stdio.h> #include <string.h> #include <unistd.h> #include <stdlib.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <pthread.h> …
阅读更多...
Node.js 环境配置

Node.js 环境配置

什么是 Node.js Node.js 是一个基于 Chrome V8 JavaScript 引擎的 JavaScript 运行时环境&#xff0c;它允许你在服务器端运行 JavaScript。传统上&#xff0c;JavaScript 主要用于浏览器中的前端开发&#xff0c;而 Node.js 使得 JavaScript 也能够在服务器上执行&#xff0c;…
阅读更多...
【办公类-53-04】20250209Python模仿制作2024学年第二学期校历

【办公类-53-04】20250209Python模仿制作2024学年第二学期校历

背景需求&#xff1a; 马上开学了&#xff0c;又要制作校历&#xff08;删划节假日&#xff09;。之前我都是用网络的图片&#xff0c;然后在PPT里修改。 存在问题&#xff1a; 网络校历是从周日开始的&#xff0c;但日常我们老师做教案&#xff0c;都是默认从周一到周五&…
阅读更多...
KERL文献阅读分享：知识图谱与预训练语言模型赋能会话推荐系统

KERL文献阅读分享：知识图谱与预训练语言模型赋能会话推荐系统

标题期刊年份Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender SystemsJournal of LaTeX Class Files2021 &#x1f4c8;研究背景 在数字时代&#xff0c;个性化推荐系统已经成为了我们生活的一部分。从电…
阅读更多...
强一致性算法：Raft

强一致性算法：Raft

目录 什么是 Raft 算法&#xff1f; Leader的选举 投票分裂后的选举过程 Raft算法日志复制过程 修复不一样的日志 数据安全性的保证 什么是 Raft 算法&#xff1f; Raft 算法是一种是一种用于管理复制日志的强一致性算法&#xff0c;用于保证分布式系统中节点数据的一致…
阅读更多...
最新文章

Copyright @ 2022~2023