如何使用 Loadgen 来简化 HTTP API 请求的集成测试

引言

在编写 HTTP 服务的过程中，集成测试 1 是保证程序正确性的重要一环，如下图所示，其基本的流程就是不断向服务发起请求然后校验响应的状态和数据等：

在这里插入图片描述

为大量的 API 和用例编写测试是一件繁琐的工作，而 Loadgen 2 正是为了简化这一过程而设计的。

一个简单的测试

假定我们在 127.0.0.1:9100 端口监听了一个 Pizza 3 服务，现在我们通过如下配置来测试集合（collection）的创建：

# loadgen.yml
requests:
  - request:
      method: PUT
      url: http://127.0.0.1:9100/test_create_document

然后运行 loadgen -config loadgen.yml：

$ loadgen -config loadgen.yml
   __   ___  _      ___  ___   __    __
  / /  /___\/_\    /   \/ _ \ /__\/\ \ \
 / /  //  ///_\\  / /\ / /_\//_\ /  \/ /
/ /__/ \_//  _  \/ /_// /_\\//__/ /\  /
\____|___/\_/ \_/___,'\____/\__/\_\ \/

[LOADGEN] A http load generator and testing suite.
[INF] warmup started
[INF] loadgen is up and running now.
[INF] [PUT] http://127.0.0.1:9100/test_create_document -
[INF] status: 200, error: <nil>, response: {"success":true,"collection":"test_create_document"}
[INF] warmup finished
...

为了便于阅读，笔者对程序输出进行了简化，实际会略有区别

可以看到，Loadgen 实际上帮我们做了类似这样的操作：

curl -XPUT http://127.0.0.1:9100/test_create_document

一些简单的测试

上述示例中我们只测试了创建单个集合，但是实际情况下短时间内会有许多请求涌入，对于创建大量的集合我们又该如何测试呢？

这里就需要用到变量 4 的概念：

# loadgen.yml
variables:
  - name: id
    type: sequence
requests:
  - request:
      method: PUT
      url: http://127.0.0.1:9100/test_create_document_$[[id]]

上述配置中，我们定义了一个名为 id 的变量，sequence 是一个特殊的类型——每次被读取时它的值会递增，因此 Loadgen 会不断发起类似这样的请求：

curl -XPUT http://127.0.0.1:9100/test_create_document_0
curl -XPUT http://127.0.0.1:9100/test_create_document_1
curl -XPUT http://127.0.0.1:9100/test_create_document_2
...

在 Pizza 的日志中也记录了这些请求：

$ pizza
   ___ _____  __________   _
  / _ \\_   \/ _  / _  /  /_\
 / /_)/ / /\/\// /\// /  //_\\
/ ___/\/ /_   / //\/ //\/  _  \
\/   \____/  /____/____/\_/ \_/

[PIZZA] The Next-Gen Real-Time Hybrid Search & AI-Native Innovation Engine.
[INFO] Collection test_create_document_0 created
[INFO] Collection test_create_document_1 created
[INFO] Collection test_create_document_2 created
...

不那么简单的测试

目前为止，我们只是不断的向一个服务“塞”大量的请求，但比起发起请求，我们常常更关心程序的响应是否符合预期，也就是说，响应需要满足我们定义的一些条件，这可以通过 Loadgen 提供的 断言 5 功能来实现：

# loadgen.yml
variables:
  - name: id
    type: sequence
runner:
  # 检查返回值是否正常
  assert_error: true
  # 检查断言是否通过
  assert_invalid: true
requests:
  - request:
      method: PUT
      url: http://127.0.0.1:9100/test_create_document_$[[id]]
    assert:
      equals:
        # 注意，这里我们故意设置了一个“不正常”的值，以迫使断言失败
        _ctx.response.body_json.success: false

在上述配置中，我们启用了 Loadgen 的检查，然后定义了一个会失败的断言：

  • equals 会校验给定路径 _ctx.response.body_json.success 是否与期望值 false 相等
  • _ctx.response.body_json 表示 JSON 格式的响应体
  • success 表示响应体中该字段对应的值，可以用 path.to.nested.key 来访问嵌套的字段

也就是说，给定响应体 {"success":true,"collection":"test_create_document"}，Loadgen 会检查 success 的值是否为 false：

$ loadgen -debug -r 1 -d 3 -config loadgen.yml
#0 request, PUT http://127.0.0.1:9100/test_create_document_$[[id]], assertion failed, skiping subsequent requests
[WRN] '_ctx.response.body_json.success' is not equal to expected value: true
#0 request, PUT http://127.0.0.1:9100/test_create_document_$[[id]], assertion failed, skiping subsequent requests
[WRN] '_ctx.response.body_json.success' is not equal to expected value: true
#0 request, PUT http://127.0.0.1:9100/test_create_document_$[[id]], assertion failed, skiping subsequent requests
[WRN] '_ctx.response.body_json.success' is not equal to expected value: true
#0 request, PUT http://127.0.0.1:9100/test_create_document_$[[id]], assertion failed, skiping subsequent requests
[WRN] '_ctx.response.body_json.success' is not equal to expected value: true

上述命令我们使用了：

  • -debug 启用更详细的报错
  • -r 1 -d 3 减少发起的请求数（1req/s 持续 3s）

还有一个需要注意的细节是 ... is not equal to expected value: true，这里报告的是 success 字段实际的值，而不是断言中定义的期望值。

可以看到，Loadgen 每次请求的断言都失败了，不过我们可以通过日志来快速定位出错的原因以便于调试。

更进一步的测试

现在我们创建了大量的空集合，是时候向其中添加一些文档（document）了，但是，一个首要解决的问题是，每次测试创建的集合名称是带有 $[[id]] 这个变量的，我们如何知道应该向哪个集合上传数据呢？一个可靠的解决方案是借助 Loadgen 的寄存器 6 功能：

# loadgen.yml
variables:
  - name: id
    type: sequence
runner:
  assert_error: true
  assert_invalid: true
requests:
  - request:
      method: PUT
      url: http://127.0.0.1:9100/test_create_document_$[[id]]
    assert:
      equals:
        _ctx.response.body_json.success: true
    register:
      # 把响应体的 collection 字段赋值给 $[[collection]]
      - collection: _ctx.response.body_json.collection
  - request:
      method: POST
      # 在上个请求创建的集合里添加一个文档
      url: http://127.0.0.1:9100/$[[collection]]/_doc
      body: '{"hello": "world"}'
    assert:
      equals:
        _ctx.response.body_json.result: created

上述示例中，我们利用动态注册的变量记录了每次测试创建的集合以便于后续请求使用。

最后的优化

为了使我们的配置更加灵活和“便携”，我们可以用环境变量来替换一些硬编码的值：

# loadgen.yml
variables:
  - name: id
    type: sequence
runner:
  assert_error: true
  assert_invalid: true
requests:
  - request:
      method: PUT
      # 读取 PIZZA_SERVER 这个环境变量
      url: $[[env.PIZZA_SERVER]]/test_create_document_$[[id]]
    assert:
      equals:
        _ctx.response.body_json.success: true
    register:
      - collection: _ctx.response.body_json.collection
  - request:
      method: POST
      url: $[[env.PIZZA_SERVER]]/$[[collection]]/_doc
      body: '{"hello": "world"}'
    assert:
      equals:
        _ctx.response.body_json.result: created

这样就可以通过：

PIZZA_SERVER=http://127.0.0.1:9101 loadgen -config loadgen.yml

在不同的 Pizza 服务上运行测试。

  1. https://en.wikipedia.org/wiki/Integration_testing ↩︎

  2. https://www.infinilabs.com/docs/latest/gateway/getting-started/benchmark ↩︎

  3. https://www.infinilabs.com/en/docs/latest/pizza ↩︎

  4. https://www.infinilabs.com/docs/latest/gateway/getting-started/benchmark#变量的使用 ↩︎

  5. https://www.infinilabs.com/docs/latest/gateway/getting-started/benchmark#返回值判断 ↩︎

  6. https://www.infinilabs.com/docs/latest/gateway/getting-started/benchmark#动态变量注册 ↩︎

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/119834.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

高效接口重试机制的实现

高效接口重试机制的实现

实现一个高效的接口重试机制对于保证系统的稳定性和可靠性至关重要。在面对网络不稳定、服务端故障或者高负载的情况下&#xff0c;接口重试机制能够确保请求的成功执行&#xff0c;同时也需要保证在重试过程中不会造成额外的负担或不必要的延迟。本文将为您介绍高效接口重试机…
阅读更多...
IO多路复用 Linux C Server-Client 多用户聊天系统

IO多路复用 Linux C Server-Client 多用户聊天系统

目录 Server-Client mutiplexingServer mutiplexingClient mutiplexing Server-Client 在Linux系统中&#xff0c;IO多路复用是一种机制&#xff0c;它允许一个进程能够监视多个文件描述符&#xff08;sockets、pipes等&#xff09;的可读、可写和异常等事件。这样&#xf…
阅读更多...
武器检测YOLOV8NANO

武器检测YOLOV8NANO

武器检测&#xff08;匕首&#xff0c;步枪&#xff0c;手枪&#xff09;&#xff0c;采用YOLOV8NANO训练&#xff0c;得到pt模型&#xff0c;然后转换成Onnx模型&#xff0c;供OPENCV DNN调用&#xff0c;支持C,PYTHON,ANDROID。有标注的训练集 武器检测YOLOV8NANO
阅读更多...
macOS磁盘分区调整软件--Paragon Camptune X 中文

macOS磁盘分区调整软件--Paragon Camptune X 中文

Paragon Camptune X是一款专为Mac用户设计的强大分区大小调整工具。通过它&#xff0c;用户可以简便地调整Mac硬盘上的分区大小&#xff0c;实现存储空间的高效管理。无论是需要在Mac和Windows系统之间切换的双系统用户&#xff0c;还是有其他特定存储需求的用户&#xff0c;Ca…
阅读更多...
提高 bbr 的灵敏性

提高 bbr 的灵敏性

bbr draft 给出了 MaxBwFilterLen 的定义&#xff1a; MaxBwFilterLen: The filter window length for BBR.MaxBwFilter 2 (representing up to 2 ProbeBW cycles, the current cycle and the previous full cycle). 从 v1 到 v3 版本&#xff0c;该值均只跟状态机而不跟实际&…
阅读更多...
波形的哪些事

波形的哪些事

一.静音波形制造(波形卡顿制造) 二.pop波形制造 三.示波器探头设置 四.示波器的差分输入和单端输入的接法不一样 差分的接法&#xff0c;需要配差分探头(如下图)&#xff0c;差分探头的两个脚分别和功放输出通道的两个脚连接 单端的接法&#xff0c;需要单端的探头&#xff0c…
阅读更多...
docker项目部署

docker项目部署

一.项目说明 hmall&#xff1a;商城的后端代码hmall-portal&#xff1a;商城用户端的前端代码hmall-admin&#xff1a;商城管理端的前端代码 部署的容器及端口说明&#xff1a; 项目容器名端口备注hmallhmall8080黑马商城后端API入口hmall-portalnginx18080黑马商城用户端入…
阅读更多...
RT-DETR 应用 BiFPN 结构 | 加权双向特征金字塔网络

RT-DETR 应用 BiFPN 结构 | 加权双向特征金字塔网络

模型效率在计算机视觉中变得越来越重要。在本文中，我们系统地研究了目标检测中的神经网络架构设计选择，并提出了几种关键的优化方法来提高效率。首先，我们提出了一种加权双向特征金字塔网络（BiFPN），它可以实现简单快速的多尺度特征融合；其次，我们提出了一种复合缩放方法…
阅读更多...
Go:如何在GoLand中引用github.com中的第三方包

Go:如何在GoLand中引用github.com中的第三方包

本篇博客主要介绍如何在GoLand中引入github.com中的第三方包。具体步骤如下&#xff1a; 正文 (1) 先在GoLand中打开go的工作区目录(即环境变量$GOPATH设置的变量)。如图&#xff1a; 关于工作区目录中的三个子目录: bin: 保存已编译的二进制可执行程序&#xff1b;pkg: 保…
阅读更多...
C++ http协议POST body raw 字段向服务器发送请求

C++ http协议POST body raw 字段向服务器发送请求

环境&#xff1a;ubuntu系统c使用http协议不是很方便&#xff0c;通过curl库我们可以很方便使用http协议&#xff0c;由于我的请求方式比较特殊&#xff0c;在网上没有找到相关的资料&#xff0c;之前使用python实现过一版&#xff0c;但是当设备数量超过100台时&#xff0c;程…
阅读更多...
本地生活新赛道-视频号团购怎么做？

本地生活新赛道-视频号团购怎么做？

目前有在做实体行业的商家一定要看完&#xff0c;只要你进入了这个本地生活新的赛道&#xff0c;那你的生意自然会源源不断&#xff0c;那这个赛道又是什么呢&#xff1f; 这就是十月份刚刚上线的视频号团购项目&#xff0c;开通团购之后&#xff0c;就可以通过发短视频&#…
阅读更多...
【GO】项目import第三方的依赖包

【GO】项目import第三方的依赖包

目录 一、导入第三方包 1.执行命令 2.查看go环境变量参数 3.查看go.mod文件的变化情况 二、程序里如何import 1. import依赖包 2. 程序编写 本次学习go如果依赖第三方的包&#xff0c;并根据第三方的包提供的接口进行编程&#xff0c;这里需要使用go get命令。下面将go…
阅读更多...
Flutter笔记：发布一个模块 scale_design - （移动端）设计师尺寸适配工具

Flutter笔记：发布一个模块 scale_design - （移动端）设计师尺寸适配工具

Flutter笔记 发布一个模块scale_design设计师尺寸适配工具与常用组件库 作者&#xff1a;李俊才 &#xff08;jcLee95&#xff09;&#xff1a;https://blog.csdn.net/qq_28550263 邮箱 &#xff1a;291148484163.com 本文地址&#xff1a;https://blog.csdn.net/qq_28550263/a…
阅读更多...
Xilinx DDR3 MIG系列——内存基本概念及原理

Xilinx DDR3 MIG系列——内存基本概念及原理

本节目录 一、内存简介 (1)内存基本存储原理 (2)内存频率 (3)DDR数据预取技术(Prefetch) (4)DDR3工作流程 (5)DDR3控制器的特点 二、内存基本参数 (1)物理Bank (2)逻辑Bank (3)内存芯片容量 (4)行激活命令—tRCD (5)列选通—CL (6)写入延迟—tDQSS (7)行预充电有效周期—tRP (8…
阅读更多...
第十三章 Python操作数据库

第十三章 Python操作数据库

系列文章目录 第一章 Python 基础知识 第二章 python 字符串处理 第三章 python 数据类型 第四章 python 运算符与流程控制 第五章 python 文件操作 第六章 python 函数 第七章 python 常用内建函数 第八章 python 类(面向对象编程) 第九章 python 异常处理 第十章 python 自定…
阅读更多...
『亚马逊云科技产品测评』活动征文｜如何搭建低成本亚马逊aws云服务器

『亚马逊云科技产品测评』活动征文｜如何搭建低成本亚马逊aws云服务器

授权声明&#xff1a;本篇文章授权活动官方亚马逊云科技文章转发、改写权&#xff0c;包括不限于在 Developer Centre, 知乎&#xff0c;自媒体平台&#xff0c;第三方开发者媒体等亚马逊云科技官方渠道 0. 环境 win10 火狐浏览器 1. 登录 https://aws.amazon.com/cn/ ->…
阅读更多...
渗透测试学习day2

渗透测试学习day2

文章目录 连接靶机靶机&#xff1a;Fawn 解题过程Task 1Task 2Task 3Task 4Task 5Task 6Task 7Task 8Task 9Task 10Task 11Task 12 总结 连接靶机 详细过程可参考day1 靶机&#xff1a;Fawn 难度&#xff1a;very easy &#xff08;ftp服务的靶机&#xff09; 解题过程 T…
阅读更多...
2023/11/7 JAVA学习

2023/11/7 JAVA学习

ctrl alt t自动重写
阅读更多...
linux C++实现线程绑定CPU

linux C++实现线程绑定CPU

前言 嵌入式里面我们会使用到多核的cpu&#xff0c;随着产品芯片性能提升&#xff0c;我们也会有很多功能&#xff0c;以及很多进程产生运行&#xff0c;这个时候我们在任务调度调优的时候&#xff0c;把一些进程绑定到固定cpu运行&#xff0c;下面就来分享一下cpu绑定运行的过…
阅读更多...
我在Vscode学OpenCV 图像运算（权重、逻辑运算、掩码、位分解、数字水印）

我在Vscode学OpenCV 图像运算（权重、逻辑运算、掩码、位分解、数字水印）

文章目录 权重 _ 要求两幅图像是相同大小的。[ 1 ] 以数据说话&#xff08; 1&#xff09; 最终&#xff1a;&#xff08; 2 &#xff09;gamma _输出图像的标量值 [ 2 ] 图像的展现力gamma并不等同于增加曝光度&#xff08; 1 &#xff09;gamma100&#xff08; 2 &#xff09…
阅读更多...
最新文章

Copyright @ 2022~2023