测试需求平台10-DBUtils 优化数据连接与 SQL Limit 实现分页

✍此系列为整理分享已完结入门搭建《TPM提测平台》系列的迭代版，拥抱Vue3.0将前端框架替换成字节最新开源的arco.design，其中约60%重构和20%新增内容，定位为从 0-1手把手实现简单的测试平台开发教程，内容将囊括基础、扩展和实战，由浅入深带你实现测试开发岗位中平台工具技术能力入门和提升

👨‍💻 作者：大奇 MegaQi  
✍️ 专注测试开发实战&车载方向干货分享，欢迎访问长期关注博客和公众号。

本篇将对数据库进行优化，包括链接池优化和 limit 使用技巧。

1.数据库连接优化

在项目中链接数据是直接通过 pymysql 去做的链接请求关闭，每次操作都要独立重复请求，其实是比较浪费资源，在并发不大的小项目虽然无感知，但如果有频繁请求的项目中，就会有性能问题，那么可以通过使用连接池技术，管理来进行优化

1.1 Python DBUntils

DBUnitls 是一套 Python 的数据库连接池包，对链接对象进行自动链接和释放，提高高频高并发下数据访问性能，大概的原理如：

DBUntils 按照配置初始化多个数据库连接存储在连接池中

  • 在程序创建连接的时候，从空闲的连接池中获取，不需要重新初始化连接，提升链接速度；

  • 在程序使用完毕后，把连接放回连接池，并不真正地关闭，等待其他请求使用，减少频繁数据的打开和关闭操作。

DBUntils 提供两种方式，并都能自动管理

  • PersistentDB (persistent_db) 提供线程专用的连接

  • PooledDB (pooled_db) 提供线程间可共享的连接

官方 [注解-1] 给出的示意图如下，仅够参考下，不进行扩展

使用此功能需要安装依赖 pip install DBUtils ，一般比较常用就是共享的方式，以 pooled_db 为例子，使用方法很简单

import pymysqlfrom dbutils.pooled_db import PooledDB# 初始化数据库连接，使用pymysql连接，pool = PooledDB(pymysql,3,host='',port='',user='',passwd='',database='')
# 一般连接db = pool.connection()cur = db.cursor()cur.execute(...)res = cur.fetchone()cur.close() # 关闭使用游标db.close() # 关闭使用连接
# 或者通过with方式with pool.connection() as db:    with db.cursor as cur:        cur.execute(...)       res = cur.fetchone()

一些参数说明，上边说明中第一参数为 creator 指定那种连接模式，第二参数为 mincached

  • mincached ：启动时开启的空的连接数量

  • maxcached ：连接池最大可用连接数量

  • maxshared : 连接池最大可用共享连接数量

  • maxconnections : 最大允许连接数量

  • maxusage ：单个丽娜姐最大复用次数

  • blocking ：达到最大数量时是否阻塞

这里只是对连接的管理，DBUntils 的基本知识点讲完了，关于性能对比可以网上搜索相关内容，另外其他的数据库操作还按照自己使用方法进行操作即可。

1.2 实例改造

以已经实现的 product.py 查询列表接口做一个实际改改造，具体的应用会在后边的需求实现中体现。

from dbutils.pooled_db import PooledDB
+ pool = PooledDB(pymysql, mincached=2, maxcached=5,host=config.MYSQL_HOST, port=config.MYSQL_PORT,+                 user=config.MYSQL_USER, passwd= config.MYSQL_PASSWORD, database=config.MYSQL_DATABASE,+                 cursorclass=pymysql.cursors.DictCursor)
@app_product.route("/api/product/list", methods=['GET'])def product_list():-    # 初始化数据库链接-    connection = connectDB()+    # 使用连接池链接数据库+   connection = pool.connection()    # 使用python的with..as控制流语句（相当于简化的try except finally）    with connection.cursor() as cursor:        # 查询产品信息表-按更新时间新旧排序        sql = "SELECT * FROM `products` WHERE `status`=0 ORDER BY `update` DESC"        cursor.execute(sql)        data = cursor.fetchall()
    # 按返回模版格式进行json结果返回    resp_data = {        "code": 20000,        "data": data    }

2.SQL 中 limit

2.1 基础知识

项目中对于较多的数据显示，需要实现分页数据查询，这可以利用 SQL 语法关键词 limit ，它可以限制查询结果返回的数量，也可以指定起始索引，来完成分页查询效果，语法形式与参数解释：

  • i：指定。一个返回记录行的偏移量（可省略即表示从 0 开始）

  • n：第二个参数指定返回记录行的最大数目

# 基本用法SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset
# 简化形式select * from tableName limit i,n

两个示例如：

... limit 10 # 查询前10条数据, 也可以表示为limit 0,10... limit 10,15 # 从11条开始返回后15条数据 即11-25

这里有个 注意事项，网上好多关于 limit 最后一个参数用 -1 可以表示，指定偏移量到最后，这个目前在新的 MYSQL 版本已经无效，会报语法错误，办法是用个较大的数代替。

如何实现分页查询，通过观察我们可以这样，如果前端传递的 page 页数（初始为 1），每页的数量为 page_size，那么第一个参数计算偏移量可设置为 (page-1) * page_size，第二参数表可设置为page_size， 例如 前端请求第一页 20 个，则计算后后两个参数为（ 0, 20），再如请求第 2 页 20 个，则计算后两个参数为 ( 20, 20 )，这样就可以实现分页数据查询效果。

2.2 实践案例

具体案例这里截图一张后边实现提测需求查询，通过参数 size，page 计算 limit 参数实现分页的数据查询逻辑。

这个知识点最后，扩展一个小优化，如果是分页数据特别，第一个参数偏移量太大的时候会带来性能的问题，优化的方式是使用子查询优化（前提条件是有自增 ID 的表），即先通过查询偏移量 ID，然后条件 “>=ID + limit 数量" 进行查询。

SELECT * FROM apps where id >=(SELECT id FROM apps LIMIT 100000,1) LIMIT 20

复制代码

3 Moment.js

JavaScript 日期处理类库( http://momentjs.cn/ )，它提供了一些经常用的时间处理方法，在 node.js 和 浏览器中都可以直接使用。

3.1 安装和使用

在我们前端项目中安装和引用如下：

# 终端安装依赖（笔者测试的最新版本为2.24.0)npm install moment
# 导入依赖import moment from "moment";

也可通过 require 定义，或 html 直接引用

// require定义var moment = require('moment');moment().format();
// 浏览器script引用<script src="moment.js"></script><script>    moment().format();</script>

3.2 常用方法

3.2.1 格式化时间

通过 format('字符串') 对日期进行格式化。

// 默认locale语言为cnmoment().format('MMMM Do YYYY, h:mm:ss a'); // August 13th 2022, 2:19:01 pmmoment().format('dddd');                    // Saturdaymoment().format("MMM Do YY");               // Aug 13th 22
// 更改本地语言为简体中文moment.locale('zh-cn')const res = moment().format('YYYY-MM-DD HH:mm'); // 2022-08-13 14:32

格式字符串很多，可以根据需要自行组合

http://momentjs.cn/docs/#/displaying/format/

3.2.2 相对时间

通过fromNow、toNow、to等方法计算相对时间

// 当前时间与北京奥运开幕时间  xx年前moment("20080808", "YYYYMMDD").fromNow();
// 到现在为止已距当天/小时已经过去moment().startOf('day').fromNow();        // xx 小时前moment().startOf('hour').fromNow();       // xx 分钟前
// 到现在为止已距当天/小时结束还有moment().endOf('day').fromNow()       // xx 小时后moment().endOf('hour').fromNow()      // xx 分钟后
// toNow与fromNow给出相反的间隔moment([2008,8,8]).toNow() // xx 年后
// to用户两个时间的对比const start = moment([2022, 8, 11]);const end = moment([2022, 8, 13]);console.log(end.to(start))  // 2 天前console.log(start.to(end))  // 2 天后
3.2.3 时间计算

subtract() 通过减去时间来改变原始的 momentadd() 通过增加时间来改变原始的 momentstartOf() / endOf() 通过将原始的 moment 设置为时间单位的开头/末尾来对其进行更改注：以上计算本身还是 moment 如果项展示还需要借助format或calendar

// 减去响应的天数console.log(moment().subtract(10, 'days')) console.log(moment().subtract(10, 'days').format("YYYY-MM-DD"))console.log(moment().subtract(10, 'days').calendar())
// 已2022年8月13日 13时测试结果如下// Moment<2022-08-03T15:01:51+08:00>// 2022-08-03// 2022/08/03     // 同样测试时间天数加法console.log(moment().add(7, 'days').calendar())    // 2022/08/20console.log(moment().add(1, 'months').calendar())  // 2022/09/13console.log(moment().add(10, 'years').calendar())  // 2032/08/13
// 举例当月的开始和结束天console.log(moment().startOf('month').calendar())console.log(moment().endOf('months').calendar())

对于moment.js 以上是大奇认为比较常用的一些方法，还有更多的用法方便在时间上的快捷操作，按照项目需要随用随事到官方查看使用文档即可。

本篇主要讲解了几个后边要用到扩展知识点，在当今的开发环境生态下，有很多类似这样好用的前后端开发工具包，我们要善于发现和利用它们，尽量避免无效重复造轮子，把时间花费在功能实现上。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/430975.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

干货！带你快速了解Python元组

干货！带你快速了解Python元组

1.元组 元组一般用来存储多个数据&#xff0c;使用() 2.创建元组 创建空元组 tup1 () print(tup1) # () print(type(tup1)) # <class tuple> 创建非空元组&#xff08;元组中只有一个元素&#xff0c;一般要在元素的后面加 , 若不加 , 该数据类型不一定是元组…
阅读更多...
【Leetcode每日一题】 前缀和 - 寻找数组的中心下标（难度⭐）（28）

【Leetcode每日一题】 前缀和 - 寻找数组的中心下标（难度⭐）（28）

1. 题目解析 题目链接&#xff1a;724. 寻找数组的中心下标 这个问题的理解其实相当简单&#xff0c;只需看一下示例&#xff0c;基本就能明白其含义了。 核心在于计算题目所给数组是否存在某一个元素左边的和等于右边的和&#xff0c;存在返回那个元素下标即可&#xff0c;不…
阅读更多...
#WEB前端（JS基础语法）

#WEB前端（JS基础语法）

1.实验&#xff1a; 2.IDE&#xff1a;VSCODE 3.记录&#xff1a; &#xff08;1&#xff09;数据类型 var&#xff0c;let&#xff0c;const var,let声明变量&#xff0c;const声明常量。var声明的变量具有函数作用域,let声明的变量具有块级作用域&#xff0c;let跟安全更…
阅读更多...
基于SSM的农业电商服务系统（农产品销售管理系统）（有报告）。Javaee项目。ssm项目。

基于SSM的农业电商服务系统（农产品销售管理系统）（有报告）。Javaee项目。ssm项目。

演示视频&#xff1a; 基于SSM的农业电商服务系统&#xff08;农产品销售管理系统&#xff09;&#xff08;有报告&#xff09;。Javaee项目。ssm项目。 项目介绍&#xff1a; 采用M&#xff08;model&#xff09;V&#xff08;view&#xff09;C&#xff08;controller&#…
阅读更多...
Golang pprof 分析程序的使用内存和执行时间

Golang pprof 分析程序的使用内存和执行时间

一、分析程序执行的内存情况 package mainimport ("os""runtime/pprof" )func main() {// ... 你的程序逻辑 ...// 将 HeapProfile 写入文件f, err : os.Create("heap.prof")if err ! nil {panic(err)}defer f.Close()pprof.WriteHeapProfile(f…
阅读更多...
图像AI换脸软件：AI FaceSwap 中文版

图像AI换脸软件：AI FaceSwap 中文版

AI FaceSwap 是一款利用人工智能技术进行面部交换的软件。该软件通过先进的人工智能算法&#xff0c;能够将一个人的面部表情、神态和特征准确地映射到另一个人身上&#xff0c;实现面部交换的效果。用户只需要提供两张照片&#xff0c;一张是目标人物的照片&#xff0c;另一张…
阅读更多...
一维化01背包（详细）

一维化01背包（详细）

http://t.csdnimg.cn/P7R3G 之前我们介绍了01背包&#xff0c;但是dp数组是二维化的&#xff0c;现在我们需要将其变成一维数组&#xff0c;如果已经对二维化的01背包十分了解了&#xff0c;那么理解一维化的dp数组也不是问题。 目录 分析 遍历顺序 原二维遍历 一维倒序遍…
阅读更多...
GPT-4 及更高版本：大型语言模型的力量

GPT-4 及更高版本：大型语言模型的力量

GPT-4革命&#xff1a;人工智能如何重塑SEO行业 在人工智能领域&#xff0c;GPT-4 等语言模型的演变标志着一个重要的里程碑。 本文深入探讨了 GPT-4 的功能和潜力&#xff0c;同时也思考了人工智能领域的未来。 GPT-4 的出现&#xff1a;人工智能的新时代OpenAI 开发的 GPT-4…
阅读更多...
Java引用强度

Java引用强度

强引用 > 软引用 > 弱引用 > 虚引用 强引用&#xff1a;传统的创建Java对象的方式&#xff0c;如&#xff1a;Object obj new Object();任何情况下&#xff0c;只要存在强引用关系&#xff0c;垃圾回收器永远不会回收掉被引用的对象。 软引用&#xff1a;描述一些还…
阅读更多...
微信小程序开发学习笔记《20》uni-app框架-分类导航区域与楼层区域

微信小程序开发学习笔记《20》uni-app框架-分类导航区域与楼层区域

微信小程序开发学习笔记《20》uni-app框架-分类导航区域与楼层区域 博主正在学习微信小程序开发&#xff0c;希望记录自己学习过程同时与广大网友共同学习讨论。建议仔细阅读uni-app对应官方文档 一、分类导航区域 1.1 获取分类导航的数据 实现思路: 定义data数据在onLoad…
阅读更多...
smardaten数据报表功能全新上线，迎战“中国式报表”！

smardaten数据报表功能全新上线，迎战“中国式报表”！

数据报表是企业业务数据统计分析最主要的应用方式之一。 面对复杂多元的报表结构、大量的数据处理需求时&#xff0c;“中国式报表”依然是业务人员、特别是财务人员进行数据统计分析的主要方式。虽然绝大多数企业都已部署高效的BI平台&#xff0c;但报表统计与可视化BI之间的…
阅读更多...
电源完整性设计的重要三步！

电源完整性设计的重要三步！

电源模块布局布线 电源模块是电子设备的能量来源&#xff0c;其性能与布局直接影响到整个系统的稳定性和效率。正确的布局和走线不仅能减少噪声干扰&#xff0c;还能确保电流的顺畅流通&#xff0c;从而提高整体性能。 1、电源模块布局 ● 源头处理&#xff1a;电源模块作为…
阅读更多...
解决手机连接校园网同一设备老是需要重复认证的问题（+解决原理）

解决手机连接校园网同一设备老是需要重复认证的问题（+解决原理）

相信大家平时在使用校园网的时候总会遇到同一设备隔三岔五就要重复认证绑定的问题&#xff0c;这里直接附上解决方案。 打开手机的wifi-->连接校园网然后进入设置-->在隐私选项选择“使用设备MAC” 如下图&#xff0c;问题解决了&#xff01;如果想知道原理的可以继续往…
阅读更多...
通过docker安装Mongodb

通过docker安装Mongodb

通过Docker安装MongoDB非常简单和方便&#xff0c;以下是基本步骤&#xff1a; 拉取MongoDB镜像&#xff1a; 首先确保你已经在本地机器上安装了Docker。然后&#xff0c;在命令行中执行以下命令来从Docker Hub下载官方的MongoDB镜像&#xff08;这里以最新版本为例&#xff09…
阅读更多...
Java基础(5) 泛型 日期和时间 线程 File-输入流

Java基础(5) 泛型 日期和时间 线程 File-输入流

泛型 java的泛型有点像ts的泛型 public class ArrayList<T> {private T[] array;private int size;public void add(T e) {...}public void remove(int index) {...}public T get(int index) {...} }// 创建可以存储String的ArrayList: ArrayList<String> strLis…
阅读更多...
FIFO漫谈

FIFO漫谈

文章目录 目录 概要 整体架构流程 技术名词解释 技术细节 为什么需要FIFO&#xff1f; 小结 概要 FIFO&#xff0c;全称为First-In, First-Out&#xff0c;意为先进先出。它就像是一个排队买东西的队伍&#xff0c;第一个进入队伍的人会第一个离开队伍。在芯片中&#xff0c;F…
阅读更多...
数据库SQLite

数据库SQLite

1.简单创建一个数据库和删除一个数据库 <LinearLayout xmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"match_parent"android:layout_height"match_parent"android:orientation"vertical">&l…
阅读更多...
Spring基础——XML配置Bean的依赖注入

Spring基础——XML配置Bean的依赖注入

目录 什么是依赖注入依赖的解析 Spring提供的两种注入方式1. 基于构造器的赖注入1.1 通过类型注入1.2 通过索引注入1.3 通过参数名注入1.4 通过静态工厂方法参数注入 基于Setter的依赖注入 Spring对不同类型的注入方式1. 字面值&#xff08;String&#xff0c;基本类型&#xf…
阅读更多...
“而且，再加上”可以用哪个语法来表示，柯桥考级韩语学习

“而且，再加上”可以用哪个语法来表示，柯桥考级韩语学习

语法 --는/은/ㄴ 데다가 1.语法&#xff1a;는/은/ㄴ 데다가 2.表示&#xff1a;用于谓词词干和体词谓词形后, 表示在原有的状况上再加上其他情况。 3.添加&#xff1a; 4.例句&#xff1a; 当然&#xff0c;与这个语法含义相近的还有不少语法&#xff0c;有一部分是初级暂时…
阅读更多...
网络安全： Kali Linux 使用 hping3 阻塞目标主机

网络安全： Kali Linux 使用 hping3 阻塞目标主机

目录 一、实验 1.环境 2. 物理机测试远程连接 Windows server 3.Kali Linux 使⽤ hping3 ⼯具 二、问题 1. 常见的 DoS ⽅式有哪些 2.hping3 测试⼯具的命令格式和选项参数 一、实验 1.环境 &#xff08;1&#xff09;主机 表1 主机 系统版本IP备注Kali Linux2024.…
阅读更多...
最新文章

Copyright @ 2022~2023