一个简单例子更深入地理解BigQuery 的分区表

首先本文不会讲得很系统, 可以理解为是1个练习, 从这个简单例子中, 我们会体会到分区表与非分区表的操作和效果的区别




准备测试数据

首先, 本人准备了一份csv file , 测试数据,

大概样子如下:
在这里插入图片描述




创建数据表并导入数据

我们首先基于这个csv file 去创建1个bq 的数据表

bigquery 是支持直接通过上传csv 去创建1个新的表的, 而这个表的schema 可以被autodetect, 甚至field type可以自动识别哦

命令:

bq load --autodetect --source_format=CSV DS2.supermarket_sales supermarket_sales.csv

这时表已经从创建好了, 我们检查下schema 和数据行数:

[gateman@manjaro-x13 chapter-01]$ bq show DS2.supermarket_sales
/home/gateman/devtools/google-cloud-sdk/platform/bq/bq.py:17: DeprecationWarning: 'pipes' is deprecated and slated for removal in Python 3.13
  import pipes
Table jason-hsbc:DS2.supermarket_sales

   Last modified                 Schema                 Total Rows   Total Bytes   Expiration   Time Partitioning   Clustered Fields   Total Logical Bytes   Total Physical Bytes   Labels  
 ----------------- ----------------------------------- ------------ ------------- ------------ ------------------- ------------------ --------------------- ---------------------- -------- 
  23 Dec 22:10:31   |- Invoice_ID: string               1000         149402                                                            149402                31765                          
                    |- Branch: string                                                                                                                                                       
                    |- City: string                                                                                                                                                         
                    |- Customer_type: string                                                                                                                                                
                    |- Gender: string                                                                                                                                                       
                    |- Product_line: string                                                                                                                                                 
                    |- Unit_price: float                                                                                                                                                    
                    |- Quantity: integer                                                                                                                                                    
                    |- Tax_5_: float                                                                                                                                                        
                    |- Total: float                                                                                                                                                         
                    |- Date: date                                                                                                                                                           
                    |- Time: string                                                                                                                                                         
                    |- Payment: string                                                                                                                                                      
                    |- cogs: float                                                                                                                                                          
                    |- gross_margin_percentage: float                                                                                                                                       
                    |- gross_income: float                                                                                                                                                  
                    |- Rating: float  

可以简单地看出, 新创建的表行数是1000 行, 而且某些字段的类型已经被自动识别为 date, integer or float.




使用sql 基于这张非分区表创建另2张分区表

supermarket_sales_p, 基于Date 列做分区, 每一天1个表分区

create table DS2.supermarket_sales_p 
PARTITION BY DATE
as 
SELECT Branch, City, Customer_type, Product_line, Unit_price, 
       Quantity, Tax_5_, Total, Date, Time, Payment, gross_income
FROM DS2.supermarket_sales

没错, BQ 还支持用sql来创建分区表, 关键字就是 PARTITION BY DATE , 这里的DATE是列名。
我在上一篇文章已经讲过, 时间分区表,有4中类型, 分别是Hour, Day, Month, Year.
上面的sql 没有指定, 默认是按Day, 也就是每一天1个表分区!





supermarket_sales_p2, 基于Date 列做分区, 每11个表分区

create table DS2.supermarket_sales_p2 
PARTITION BY DATE_TRUNC(Date, MONTH)
as 
SELECT Branch, City, Customer_type, Product_line, Unit_price, 
       Quantity, Tax_5_, Total, Date, Time, Payment, gross_income
FROM DS2.supermarket_sales

这里 PARTITION BY DATE 改成 PARTITION BY DATE_TRUNC(Date, MONTH)

注意, 新的两个分区表比起原表是精简了一些列的, 相当灵活
好, 创建好之后我们检查下表结构和行数

[gateman@manjaro-x13 chapter-01]$ bq show DS2.supermarket_sales_p
/home/gateman/devtools/google-cloud-sdk/platform/bq/bq.py:17: DeprecationWarning: 'pipes' is deprecated and slated for removal in Python 3.13
  import pipes
Table jason-hsbc:DS2.supermarket_sales_p

   Last modified             Schema            Total Rows   Total Bytes   Expiration   Time Partitioning   Clustered Fields   Total Logical Bytes   Total Physical Bytes   Labels  
 ----------------- -------------------------- ------------ ------------- ------------ ------------------- ------------------ --------------------- ---------------------- -------- 
  23 Dec 23:44:51   |- Branch: string          1000         105400                     DAY (field: Date)                      105400                343651                         
                    |- City: string                                                                                                                                                
                    |- Customer_type: string                                                                                                                                       
                    |- Product_line: string                                                                                                                                        
                    |- Unit_price: float                                                                                                                                           
                    |- Quantity: integer                                                                                                                                           
                    |- Tax_5_: float                                                                                                                                               
                    |- Total: float                                                                                                                                                
                    |- Date: date                                                                                                                                                  
                    |- Time: string                                                                                                                                                
                    |- Payment: string                                                                                                                                             
                    |- gross_income: float                                                                                                                                         

[gateman@manjaro-x13 chapter-01]$ bq show DS2.supermarket_sales_p2
/home/gateman/devtools/google-cloud-sdk/platform/bq/bq.py:17: DeprecationWarning: 'pipes' is deprecated and slated for removal in Python 3.13
  import pipes
Table jason-hsbc:DS2.supermarket_sales_p2

   Last modified             Schema            Total Rows   Total Bytes   Expiration    Time Partitioning    Clustered Fields   Total Logical Bytes   Total Physical Bytes   Labels  
 ----------------- -------------------------- ------------ ------------- ------------ --------------------- ------------------ --------------------- ---------------------- -------- 
  23 Dec 23:48:37   |- Branch: string          1000         105400                     MONTH (field: Date)                      105400                28942                          
                    |- City: string                                                                                                                                                  
                    |- Customer_type: string                                                                                                                                         
                    |- Product_line: string                                                                                                                                          
                    |- Unit_price: float                                                                                                                                             
                    |- Quantity: integer                                                                                                                                             
                    |- Tax_5_: float                                                                                                                                                 
                    |- Total: float                                                                                                                                                  
                    |- Date: date                                                                                                                                                    
                    |- Time: string                                                                                                                                                  
                    |- Payment: string                                                                                                                                               
                    |- gross_income: float                                                                                                                                           

[gateman@manjaro-x13 chapter-01]$ 

注意观察分区信息, 1个按Day 分区, 一个按月分区. 行数都是1000

继续查看分区信息

SELECT *
FROM DS2.INFORMATION_SCHEMA.PARTITIONS
where table_name = 'supermarket_sales_p'
order by partition_id

table_catalog|table_schema|table_name         |partition_id|total_rows|total_logical_bytes|total_billable_bytes|last_modified_time     |storage_tie
-------------+------------+-------------------+------------+----------+-------------------+--------------------+-----------------------+-----------
jason-hsbc   |DS2         |supermarket_sales_p|20190101    |        12|               1260|                1260|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190102    |         8|                840|                 840|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190103    |         8|                836|                 836|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190104    |         6|                633|                 633|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190105    |        12|               1285|                1285|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190106    |         9|                925|                 925|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190107    |         9|                953|                 953|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190108    |        18|               1908|                1908|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190109    |         8|                840|                 840|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190110    |         9|                950|                 950|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190111    |         8|                839|                 839|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190112    |        11|               1171|                1171|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190113    |        10|               1056|                1056|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190114    |        13|               1385|                1385|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190115    |        13|               1365|                1365|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190116    |        10|               1050|                1050|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190117    |        11|               1162|                1162|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190118    |         9|                943|                 943|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190119    |        16|               1694|                1694|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190120    |        10|               1046|                1046|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190121    |         8|                822|                 822|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190122    |         7|                733|                 733|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190123    |        17|               1779|                1779|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190124    |        13|               1364|                1364|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190125    |        17|               1777|                1777|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190126    |        17|               1785|                1785|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190127    |        14|               1467|                1467|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190128    |        14|               1493|                1493|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190129    |        12|               1261|                1261|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190130    |         9|                972|                 972|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190131    |        14|               1497|                1497|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190201    |         6|                635|                 635|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190202    |        14|               1466|                1466|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190203    |        14|               1456|                1456|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190204    |        11|               1158|                1158|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190205    |        12|               1255|                1255|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190206    |        13|               1390|                1390|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190207    |        20|               2115|                2115|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190208    |        12|               1257|                1257|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190209    |        13|               1360|                1360|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190210    |        11|               1159|                1159|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190211    |         8|                841|                 841|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190212    |         8|                839|                 839|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190213    |         8|                858|                 858|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190214    |         8|                839|                 839|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190215    |        19|               2017|                2017|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190216    |         8|                846|                 846|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190217    |        13|               1376|                1376|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190218    |         7|                728|                 728|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190219    |         9|                954|                 954|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190220    |        10|               1056|                1056|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190221    |         6|                619|                 619|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190222    |        11|               1161|                1161|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190223    |         8|                850|                 850|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190224    |         9|                951|                 951|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190225    |        16|               1687|                1687|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190226    |         9|                951|                 951|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190227    |        14|               1485|                1485|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190228    |         6|                629|                 629|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190301    |        10|               1064|                1064|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190302    |        18|               1916|                1916|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190303    |        14|               1489|                1489|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190304    |        12|               1228|                1228|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190305    |        17|               1800|                1800|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190306    |        11|               1166|                1166|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190307    |         9|                949|                 949|2023-12-23 23:44:51.313|ACTIVE     
jason-hsbc   |DS2         |supermarket_sales_p|20190308    |        11|               1164|                1164|2023-12-23 23:44:51.313|ACTIVE     
SELECT *
FROM DS2.INFORMATION_SCHEMA.PARTITIONS
where table_name = 'supermarket_sales_p2'
order by partition_id

table_catalog|table_schema|table_name          |partition_id|total_rows|total_logical_bytes|total_billable_bytes|last_modified_time     |storage_tier|
-------------+------------+--------------------+------------+----------+-------------------+--------------------+-----------------------+------------+
jason-hsbc   |DS2         |supermarket_sales_p2|201901      |       352|              37091|               37091|2023-12-23 23:48:37.508|ACTIVE      |
jason-hsbc   |DS2         |supermarket_sales_p2|201902      |       303|              31938|               31938|2023-12-23 23:48:37.508|ACTIVE      |
jason-hsbc   |DS2         |supermarket_sales_p2|201903      |       345|              36371|               36371|2023-12-23 23:48:37.508|ACTIVE      |

可以看出supermarket_sales_p 已经存在很多个表分区, 1天1个分区, 而supermarket_sales_p2 只有3个分区, 对应3个月份, 而且也可以知道每个分区到底有多少个数据行




先查询原表并观察

在这里插入图片描述
我们可以看出, 原表的数据量两为145.9KB

当我们尝试查询 select * from 原表 时, BQ 已经提示会process 145.9KB , 也就是全表的数据量, 这个没什么问题

在这里插入图片描述


当我们尝试只检索某些列(就是上面两张分区表的列)时, 发现will process的数据量减少了,变成了102.93KB 这个也可以理解, 毕竟我们不想要查询所有列嘛

在这里插入图片描述


然后我们加上Date 列的filter , 只查询2月份的数据
在这里插入图片描述
如上图, 见到还是提示 102.93KB will be processed, 没有变化啊, 再想想也可以理解, BQ并没有索引, 所以还是检索全表才会找出DATE 在2月份的数据!


结下来我们先在web ui 上禁用缓存, 保证每次查询都是从磁盘去获得数据

在这里插入图片描述

在其他场景如何禁用缓存? 参考下文
https://cloud.google.com/bigquery/docs/cached-results#bq


接下来我们按button Run 去执行这个sql去检索非分区表 从查询job 的信息来看, 的确处理了102 kb data

在这里插入图片描述


而且从另外两张图来看, 的确处理了1000数据, 即使只返回了300多行, 但是收费是按1000行来收的
在这里插入图片描述
在这里插入图片描述




查询按日分区表 supermarket_sales_p

当我们写入sql时, web ui 已经提示will processed 的数据只有30多kb了!
在这里插入图片描述
因为加上了Date 这个字段, 数据只会在2月份的多个表分区里查找, skip了2月份之外的其他表分区。


然后我们执行查询, 查看执行信息, 的确是30KB ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/29c18cd21a78450fbc42f30c7ca1eee3.png)
再查看执行计划图 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/2eeb23f9d8dc405aadc37ca5dea180dd.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/2bbc76e8b10f4d63a350e162a217d821.png) 的确只process了303 行数据

值得注意的是, Wait 和 Read的时间效果都增加了

因为BQ 后台里会有多个进程同时去查询多个表分区, 而且需要wait 来整合查询的数据, 这里数据量小(1000k), 分区表的效率不高, 但是当数据量变大, 分区表的性能优势就出来了。




查询按月分区表 supermarket_sales_p2

当我们写入sql时, web ui 已经同样提示will processed 的数据只有30多kb了!

在这里插入图片描述
这里的查询只会 在1个表分区里查找, 因为此表是按月分区的


再查看执行计划图 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/7d2101ebec6341eb867cfb2910341bef.png) 可以看出wait 只有1ms, 因为只有1个表分区查询嘛, 所以对这条sql来讲, 月分区效率更高

但是 日分区表会更灵活, 例如只查询 2月28 和 3月1号 的数据, 相信日分区表会有效率得多!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/266643.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

从零构建tomcat环境

一、官网构建 1.1 下载 一般来说对于开源软件都有自己的官方网站,并且会附上使用文档以及一些特性和二次构建的方法,那么我们首先的话需要从官网或者tomcat上下载到我们需要的源码包。下载地址:官网、Github。 这里需要声明一下&#xff…

Hadoop入门学习笔记——七、Hive语法

视频课程地址:https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd5ay8 Hadoop入门学习笔记(汇总) 目录 七、Hive语法7.1. 数据库相关操作7.1.1. 创建数据库7.1.2…

每日一题——LeetCode859

方法一 个人方法: 首先s和goal要是长度不一样或者就只有一个字符这两种情况可以直接排除剩下的情况s和goal的长度都是一样的,s的长度为2也是特殊情况,只有s的第一位等于goal的第二位,s的第二位等于goal的第一位才能满足剩下的我们…

生成allure报告出现:ALLURE REPORT UNKNOWN

问题:点击浏览器查看时无法查看到报告 错误代码: if __name__ "__main__":pytest.main([./test_study/test_fixture.py])os.system("allure generate ./temps -o ./temps --clean") 结果导向: 解决:因为…

ZooKeeper 使用介绍和原理详解

目录 1. 介绍 重要性 应用场景 2. ZooKeeper 架构 服务角色 数据模型 工作原理 3. 安装和配置 下载 ZooKeeper 安装和配置 启动 ZooKeeper 验证和管理 停止和关闭 4. ZooKeeper 数据模型 数据结构和层次命名空间: 节点类型和 Watcher 机制&#xff…

SpringMVC:整合 SSM 上篇

文章目录 SpringMVC - 03整合 SSM 上篇一、准备工作二、MyBatis 层1. dao 层2. service 层 三、Spring 层四、SpringMVC 层五、执行六、说明 SpringMVC - 03 整合 SSM 上篇 用到的环境: IDEA 2019(JDK 1.8)MySQL 8.0.31Tomcat 8.5.85Maven…

OpenCV利用HSV颜色区间分离不同物体

需求 当前有个需求是从一个场景中将三个不同的颜色的二维码分离出来,如下图所示。 这里有两个思路可以使用 思路一是通过深度学习的方式,训练一个能够识别旋转边界框的模型,但是需要大量的数据进行模型训练,此处缺少训练数据&a…

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.

Hadoop启动时警告,但不影响使用,强迫症的我还是决定寻找解决办法 WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.原因是Hadoop安装配置于root用户下,对文件需要进…

智能优化算法应用:基于金枪鱼群算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用:基于金枪鱼群算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于金枪鱼群算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.金枪鱼群算法4.实验参数设定5.算法结果6.…

深度学习(八):bert理解之transformer

1.主要结构 transformer 是一种深度学习模型,主要用于处理序列数据,如自然语言处理任务。它在 2017 年由 Vaswani 等人在论文 “Attention is All You Need” 中提出。 Transformer 的主要特点是它完全放弃了传统的循环神经网络(RNN&#x…

PHP函数定义和分类

函数的含义和定义格式 在PHP中,允许程序员将常用的流程或者变量等组件组织成一个固定的格式实现特定功能,也就是说函数是具有特定功能特定格式的代码段。 函数的定义格式如下: function 函数名(参数1,参数2,参数n) {…

适配器模式学习

适配器模式(Adapter)将一个类的接口转换成客户希望的另外一个接口。Adapter 模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。 适配器模式分为类适配器模式和对象适配器模式两种,前者类之间的耦合度比后者高,且要…

【高数定积分求解旋转体体积】 —— (上)高等数学|定积分|柱壳法|学习技巧

🌈个人主页: Aileen_0v0 🔥热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法 💫个人格言:"没有罗马,那就自己创造罗马~" 目录 Shell method Setting up the Integral 例题 Example 1: Example 2: Example 3: Computing…

RasaGPT对话系统的工作原理

RasaGPT 结合了 Rasa 和 Langchain 这 2 个开源项目,当超出 Rasa 现有意图(out_of_scope)的时候,就会执行 ActionGPTFallback,本质上就是利用 Langchain 做了一个 RAG,调用 LLM API。RasaGPT 涉及的技术栈比较多而复杂&#xff0c…

如何更好地理解和掌握 KMP 算法?

KMP算法是一种字符串匹配算法,可以在 O(nm) 的时间复杂度内实现两个字符串的匹配。本文将引导您学习KMP算法,阅读大约需要30分钟。 1、字符串匹配问题 所谓字符串匹配,是这样一种问题:“字符串 P 是否为字符串 S 的子串&#xf…

springcloud-gateway-2-鉴权

目录 一、跨域安全设置 二、GlobalFilter实现全局的过滤与拦截。 三、GatewayFilter单个服务过滤器 1、原理-官方内置过滤器 2、自定义过滤器-TokenAuthGatewayFilterFactory 3、完善TokenAuthGatewayFilterFactory的功能 4、每一个服务编写一个或多个过滤器&#xff0c…

Opencv中的滤波器

一副图像通过滤波器得到另一张图像,其中滤波器又称为卷积核,滤波的过程称之为卷积。 这就是一个卷积的过程,通过一个卷积核得到另一张图片,明显发现新的到的图片边缘部分更加清晰了(锐化)。 上图就是一个卷…

pycharm修改项目文件夹名称

目录 1 修改项目文件夹名称 2 修改代码中的项目名称 1 修改项目文件夹名称 选中项目文件夹,右键,选择refactor-rename。 选择rename project: 然后输入新的项目名称。 此时进入资源管理器,修改项目文件夹的名字,完成…

LangChain 31 模块复用Prompt templates 提示词模板

LangChain系列文章 LangChain 实现给动物取名字,LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储,读取YouTube的视频文本搜索I…

AWD认识和赛前准备

AWD介绍 AWD: Attack With Defence, 北赛中每个队伍维护多台服务器,服务器中存在多个漏洞,利 用漏洞攻击其他队伍可以进行得分,修复漏洞可以避免被其他队伍攻击失分。 一般分配Web服务器,服务器(多数为Linux)某处存在flag(一般在根目录下)&am…