Protobuf 编码规则及c++使用详解

Protobuf 编码规则及c++使用详解

Protobuf 介绍

Protocol Buffers (a.k.a., protobuf) are Google’s language-neutral, platform-neutral, extensible mechanism for serializing structured data
Protocol Buffers（简称为protobuf）是谷歌的语言无关、平台无关、可扩展的机制，用于序列化结构化数据。

protobuf的主要目的是在不同应用程序之间高效地传输和存储数据。与XML和JSON等文本格式相比，protobuf的编码格式更紧凑，解析速度更快，占用的存储空间更小。此外，protobuf还支持版本兼容性，使得在数据结构发生变化时能够向后兼容。

在音视频领域，信令和打点数据量非常大，采用JSON等文本方式，虽然可读性较大，但数据提交太大，不利于传输和节省带宽，因此二进制编码方式（protobuf）非常适合这个领域。

c++ 使用详解

1、定义.proto文件 (message.proto)

syntax = "proto3";

package tutorial;

message Person {
    string name = 1;
    int32 id = 2;
    string email = 3;

  enum PhoneType {
    PHONE_TYPE_UNSPECIFIED = 0;
    PHONE_TYPE_MOBILE = 1;
    PHONE_TYPE_HOME = 2;
    PHONE_TYPE_WORK = 3;
  }

  message PhoneNumber {
    string number = 1;
    PhoneType type = 2;
  }

  repeated PhoneNumber phones = 4;
}

包含了常用的整型，字符串，枚举，结构体，repeated（数组）类型

2、使用protoc编译器生成c++源码文件（message.pb.h, message.pb.cc）

protoc --cpp_out=. message.proto
libprotobuf和protoc编译器如何安装？
在ubuntu系统下：

# sudo apt update
# sudo apt install libprotobuf-dev protobuf-compiler

3、编写测试文件(main.cpp)

// g++ -std=c++11 main.cpp message.pb.cc -lprotobuf -o main

#include "message.pb.h"
#include <google/protobuf/util/json_util.h>
#include <iostream>
#include <fstream>
#include <initializer_list>

struct CppPerson {
    std::string name = "John";
    int32_t id = 1;
    std::string email = "john@163.com";

    enum CppPhoneType {
        UNSPECIFIED = 0,
        MOBILE = 1,
        HOME = 2,
        WORK = 3,
    };
  
    struct CppPhoneNumber {
        std::string number;
        CppPhoneType type;
    };

    std::vector<CppPhoneNumber> phones;
};

int main() {
    // Create a CppPerson object
    CppPerson cpp_person; 
    cpp_person.phones.push_back({"123456789", CppPerson::HOME});
    cpp_person.phones.push_back({"987654321", CppPerson::WORK});

    // 创建一个 Person 对象
    tutorial::Person person;
    person.set_name(cpp_person.name);
    person.set_id(cpp_person.id);
    person.set_email(cpp_person.email);
    for (auto &s : cpp_person.phones) {
        auto phone = person.add_phones();
        phone->set_number(s.number);
        phone->set_type(static_cast<tutorial::Person::PhoneType>(s.type));
    }

    // 将 Person 对象序列化为字节流
    std::string serialized;
    person.SerializeToString(&serialized);
    std::cout << "serialized size: " << serialized.size() << std::endl;

    // message <--> json
    std::string json;
    google::protobuf::util::JsonOptions json_options;
    //  json_options.add_whitespace = true;
    google::protobuf::util::MessageToJsonString(person, &json, json_options);
    std::cout << "JSON: " << json << std::endl;
    std::cout << "JSON size: " << json.size() << std::endl;
    tutorial::Person person_from_json;
    google::protobuf::util::JsonStringToMessage(json, &person_from_json);
    std::string person_from_json_serialized;
    person_from_json.SerializeToString(&person_from_json_serialized);
    std::cout << "Person from JSON serialized size: " << person_from_json_serialized.size() << std::endl;

    // 将字节流写入文件
    std::fstream output("person.bin", std::ios::out | std::ios::binary);
    output.write(serialized.c_str(), serialized.size());
    output.close();

    // 从文件中读取字节流
    std::fstream input("person.bin", std::ios::in | std::ios::binary);
    std::string serialized_input((std::istreambuf_iterator<char>(input)), std::istreambuf_iterator<char>());

    // 将字节流反序列化为 Person 对象
    tutorial::Person person2;
    person2.ParseFromString(serialized_input);

    // 输出 Person 对象的信息
    std::cout << "Person:" << std::endl;
    std::cout << "  name: " << person2.name() << std::endl;
    std::cout << "  id: " << person2.id() << std::endl;
    std::cout << "  email: " << person2.email() << std::endl;
    for (int i = 0; i < person2.phones_size(); i++) {
        auto &phone_number = person2.phones(i);
        std::cout << "  phone number: " << phone_number.number() << std::endl;
        std::cout << "  phone type: " << phone_number.type() << std::endl;
    }

    return 0;
}

4、编译运行

# g++ -std=c++11 main.cpp message.pb.cc -lprotobuf -o main

# ./main

serialized size: 52
JSON: {"name":"John","id":1,"email":"john@163.com","phones":[{"number":"123456789","type":"PHONE_TYPE_HOME"},{"number":"987654321","type":"PHONE_TYPE_WORK"}]}
JSON size: 152
Person from JSON serialized size: 52
Person:
  name: John
  id: 1
  email: john@163.com
  phone number: 123456789
  phone type: 2
  phone number: 987654321
  phone type: 3

查看编码好的二进制（person.bin）
在这里插入图片描述

5、编码后二进制流分析

在这里插入图片描述

编码规则

第一个字节包含了字段编号（Filed Number）和wired type, 组合起来代表message里一个字段的Key信息
bit 7

0-代表该字节自解释完整
1-代表后续还有字节，需要整合后续字节提取信息 （当字段数超过15个是采用这种方式，即由多个字节编码key）

<这个bit就是varint的关键功能位，variant中每个字节的最高位bit称之为most significant bit(MSB)，如果该bit为0意味着这个字节为表示当前整数的最后一个字节，如果为1则表示后面还有至少1个字节，可见，varint的终止位置其实是自解释的。>

bit 6-bit 3

存储字段编号，field number (fn)

bit 2-bit 0

存储wired type (wt)

常用的类型主要有VARINT和LEN

  • wire type=0、1、5，编码为key+数据，只有一个数据，可能占数个字节，数据在编码时自带终止标记；
  • wire type=2，编码为key+length+数据，length指示了数据长度，可能有多个数据，顺序排序

在这里插入图片描述
在这里插入图片描述

总结：二进制流存储方式为key data key data key data…
比如上述例子：
在这里插入图片描述

6、番外：protobuf和JSON互转

如上述示例，转换为的json为：

JSON: {"name":"John","id":1,"email":"john@163.com","phones":[{"number":"123456789","type":"PHONE_TYPE_HOME"},{"number":"987654321","type":"PHONE_TYPE_WORK"}]}
JSON size: 152

可见JSON紧压缩方式大小为152Byte，而PB压缩大小为52Byte，非常省空间。

Protobuf，它只需要简单地将一个二进制序列，按照指定的格式读取到C++对应的结构类型中就可以了。消息的decoding过程也可以通过几个位移操作组成的表达式计算即可完成。而对于字符串、自定义对象类型的数据，Protobuf在存储的时候，也存储了该数据的字节长度，读取起来也非常快。

参考

https://protobuf.dev/overview/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/264370.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

云服务器2核4g能干什么？

云服务器2核4g能干什么？

​　　对于许多个人和企业来说&#xff0c;云服务器的硬件配置是至关重要的。其中&#xff0c;常见的有2核4G配置。 谈到2核4g配置&#xff0c;它是指云服务器拥有2个CPU核心和4GB的内存。2核指的是处理器(CPU)的核心数量&#xff0c;而4G则是指内存的大小。这个配置通常对于中…
阅读更多...
RetinaNet：Focal Loss for Dense Object Detection（CVPR2018）

RetinaNet：Focal Loss for Dense Object Detection（CVPR2018）

文章目录 Abstract北京发现问题并给出方法成果 IntroductionRelated WorkRobust 评估 Focal LossBalanced Cross EntropyFocal Loss DefinitionClass Imbalance and Model InitializationClass Imbalance and Two-stage Detectors RetinaNet DetectorExperimentsConclusion hh …
阅读更多...
服务器加装了14T硬盘，显示不出来，戴尔R730阵列卡配置阵列RAID0

服务器加装了14T硬盘，显示不出来，戴尔R730阵列卡配置阵列RAID0

戴尔H730阵列卡配置阵列RAID0,1,5,10_哔哩哔哩_bilibili 然后依据下面的视频进行操作&#xff0c;ctrlr&#xff0c;选raid0 戴尔H730阵列卡配置阵列RAID0,1,5,10_哔哩哔哩_bilibili
阅读更多...
超级逼真人脸生成，Stable Diffusion的3个关键技巧

超级逼真人脸生成，Stable Diffusion的3个关键技巧

大家好&#xff0c;你是否曾想过&#xff0c;为什么别人可以使用AI图像生成技术生成如此逼真的人脸&#xff0c;而自己的尝试却充满了错误和瑕疵&#xff0c;让人一眼看出是假的。尝试过调整提示和设置&#xff0c;但似乎仍无法与他人的质量相匹配。 本文将带大家了解使用Stab…
阅读更多...
第一部分 数理逻辑

第一部分 数理逻辑

目录 什么是命题 注意&#xff1a; 例1 下列句子中那些是命题&#xff1f; 联结词 例2 将下列命题符号化. 注意&#xff1a; 例4 设 p&#xff1a;天冷&#xff0c;q&#xff1a;小王穿羽绒服&#xff0c;将下列命题符号化 例5 求下列复合命题的真值 例如 真值表: 例&#xff1…
阅读更多...
活动回顾 (上) | 2023 Meet TVM 系列活动完美收官

活动回顾 (上) | 2023 Meet TVM 系列活动完美收官

作者&#xff1a;xixi 编辑&#xff1a;三羊、李宝珠 2023 Meet TVM 年终聚会于 12 月 16 日在上海圆满落幕&#xff0c;本次 meetup 不仅邀请到了 4 位 AI 编译器专家为大家带来了精彩的分享&#xff0c;还新增了圆桌讨论环节&#xff0c;以更多元的视角和各位共同讨论大模型…
阅读更多...
SICP ：讨论分层及封装性的又一极好例子。

SICP ：讨论分层及封装性的又一极好例子。

.h文件 #ifndef WIDGET_H #define WIDGET_H#include <QWidget>QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_NAMESPACEclass Widget : public QWidget {Q_OBJECTpublic:Widget(QWidget *parent nullptr);~Widget();void Draw_Element(QPainter *p, QPoint…
阅读更多...
Flink 运行时[Runtime] 整体架构

Flink 运行时[Runtime] 整体架构

一、基本组件栈 在Flink整个软件架构体系中&#xff0c;同样遵循着分层的架构设计理念&#xff0c;在降低系统耦合度的同时&#xff0c;也为上层用户构建Flink应用提供了丰富且友好的接口。从下图中可以看出整个Flink的架构体系基本上可以分为三层&#xff0c;由上往下依次是 …
阅读更多...
融资项目——vue之数据绑定

融资项目——vue之数据绑定

如上图&#xff0c;当变量{{title}}不在标签内的时候&#xff0c;vue可以正常渲染&#xff0c;点击链接后可正常跳转到百度。但如下图&#xff0c;如果{{title}}在标签内&#xff0c;则此时会产生错误&#xff0c;点击链接后并没有如愿跳转到百度页面。 此时&#xff0c;需要使…
阅读更多...
加密算法学习

加密算法学习

最近在写一些加密的东西。所以就整理一下常见的加密算法。 欢迎帮助纠错&#xff0c;谢谢。 废话不多直接上图&#xff1a; 加密学习一级介绍描述常见算法常见算法细分非对称加密解释　非对称加密需要两个密钥&#xff1a;公钥 (publickey) 和私钥 (privatekey)。公钥和私钥是…
阅读更多...
到底需要会那些技能？才算一个5年经验合格的软件测试工程师

到底需要会那些技能？才算一个5年经验合格的软件测试工程师

一&#xff1a;经历讲解 微软外包自动化测试两年&#xff0c;而后转入互联网公司做移动端自动化测试一年&#xff0c;经历了入行时的迷茫&#xff0c;而后的笃定&#xff0c;转入移动后对自身定位和价值的怀疑&#xff0c;继而对自动化测试的重新认识&#xff0c;职场三年&…
阅读更多...
HrSegNet 23年裂缝检测新文章基于PaddelPaddle和Paddleseg的复现

HrSegNet 23年裂缝检测新文章基于PaddelPaddle和Paddleseg的复现

本文章是对2023年发表在Automation in Construction上论文 Real-time High-Resolution Neural Network with Semantic Guidance for Crack Segmentation 的复现。 我参考了作者上传至github的代码&#xff0c;并得到了作者的帮助。https://github.com/CHDyshli/HrSegNet4Cra…
阅读更多...
【机器学习】【线性回归】梯度下降

【机器学习】【线性回归】梯度下降

文章目录 [toc]数据集实际值估计值估计误差代价函数学习率参数更新Python实现线性拟合结果代价结果 数据集 ( x ( i ) , y ( i ) ) , i 1 , 2 , ⋯ , m \left(x^{(i)} , y^{(i)}\right) , i 1 , 2 , \cdots , m (x(i),y(i)),i1,2,⋯,m 实际值 y ( i ) y^{(i)} y(i) 估计值 h …
阅读更多...
销量影响因素分析：从多维度解析商品市场表现

销量影响因素分析：从多维度解析商品市场表现

在商品市场中&#xff0c;销量是衡量一个商品或品牌成功与否的关键指标。然而&#xff0c;销量的影响因素众多&#xff0c;包括产品品质、价格、品牌知名度、营销策略、竞争环境等。为了深入了解商品市场的表现&#xff0c;我们需要从多个维度对销量影响因素进行分析。本文将通…
阅读更多...
FreeRTOS之二值信号量（实践）

FreeRTOS之二值信号量（实践）

信号量相当于一个标志&#xff0c;实现对资源多少的管理。 比如停车场空位的数量。 这里使用的是二值信号量&#xff0c;其队列长度为1&#xff0c;只有空或满两种状态。 1、步骤&#xff1a; 1.1、创建信号量 1.2、释放信号量 1.3、获取信号量 注&#xff1a;若想深入还…
阅读更多...
c++11特新：弱引用智能指针

c++11特新：弱引用智能指针

弱引用智能指针std::weak_ptr可以看做是shared_ptr的助手&#xff0c;它不管理shared_ptr内部的指针。std::weak_ptr没有重载操作符*和->&#xff0c;因为它不共享指针&#xff0c;不能操作资源&#xff0c;所以它的构造不会增加引用计数&#xff0c;析构也不会减少引用计数…
阅读更多...
DMR与DPMR以及DMR的分层

DMR与DPMR以及DMR的分层

数字移动无线电 (DMR) 和数字专用移动无线电 (dPMR) 是数字对讲机中使用的流行通信技术。 与传统模拟无线电相比&#xff0c;这两种技术都提供了改进的音频质量、增强的安全功能和增加的网络容量。 但是&#xff0c;DMR 和 dPMR 无线电之间使用的技术存在重大差异&#xff…
阅读更多...
【三维生成与重建】ZeroRF：Zero Pretraining的快速稀疏视图360°重建

【三维生成与重建】ZeroRF：Zero Pretraining的快速稀疏视图360°重建

系列文章目录 题目&#xff1a;ZeroRF: Fast Sparse View 360◦ Reconstruction with Zero Pretraining 任务&#xff1a;稀疏重建&#xff1b;拓展&#xff1a;Image to 3D、文本到3D 作者&#xff1a;Ruoxi Shi* Xinyue Wei* Cheng Wang Hao Su &#xff0c;来自UC San Dieg…
阅读更多...
Redis 6 性能大揭秘：如何优化缓存命中率？

Redis 6 性能大揭秘：如何优化缓存命中率？

Redis 6的性能优化&#xff0c;特别是关于如何优化缓存命中率。 这篇文章会包含10个代码示例&#xff0c;帮助深入理解和应用相关的技巧 1、 监控缓存命中率 在优化之前&#xff0c;首先要了解当前的缓存命中率。Redis提供了INFO命令来查看性能指标&#xff0c;包括命中率。…
阅读更多...
51单片机模数转换ADC原理与代码一

51单片机模数转换ADC原理与代码一

51单片机模数转换ADC原理与代码一 1.概述 这篇文章是模数转换的入门文章&#xff0c;这篇文章主要介绍模数的概念、原理、核心指标、专业术语&#xff0c;以及一个模数转换的实例代码实现检测电位器的数值变化。 2.ADC介绍 2.1.ADC概念 ADC(Analog-to-Digital Converter)是…
阅读更多...
最新文章

Copyright @ 2022~2023