性能分析-数据库与磁盘知识

数据库

数据库,其实是数据库管理系统dbms。

数据库管理系统,

常见:

  • 关系型数据库: mysql、pg、
    • 库的表,表与表之间有关联关系; 表二维表
    • 统一标准的SQL(不局限于CRUD)
  • 非关系型数据库:redis、mongodb
    • 表之间没有强关联,表中数据,也没有统一的结构。
    • redis:  key-value
    • mongodb:bson(类似json)文档
    • 没有统一标准sql,不同的非关系型数据,sql语句不一样
  • 时序数据:
    • Prometheus 以时间序列来存储数据

数据库管理系统,管理数据。

数据:一切可以用计算书来存储都是数据。

数据对于一个项目是非常非常重要的,所以对数据的保存、数据的稳定性、数据的安全性要求是比较 高的。

如果数据存在磁盘上,希望磁盘的稳定性就要求比较高。----所以,数据库的数据存的磁盘,一般选择机械硬盘。

关系型数据库:库和表 库是数据的一个整体。

mysql数据库,库名称,就是一个文件夹名称。一个库就是一个文件夹。 表用二维表的方式栅格化数据,进行存储。

 select语言的性能分析是的重点:项目中获取数据频率远远高于对数据变更的操作。

获取数据,从磁盘上读取你想要的数据。从一张表中来获取想要数据。

mysql数据库,表在磁盘上,就是文件。

我们从表中获取一条数据的过程,找到文件夹(库),找到文件(表),打开磁盘的文件(读文件),跳转到对应的位置(表中一行) 学习数据库的时候还需要有磁盘知识。

数据库安装

数据库安装: wget https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm yum install -y mysql80-community-release-el7-7.noarch.rpm

如果此时 直接安装安装的就是mysql8.0.x版本,数据库安装要安装  mysql5.7.x版本

目前企业中用的mysql数据库的版本,主要是:mysql5.7.x版本或mysql8.x版本

mysql数据库在5.7的版本开始,有非常大的变化。

从mysql的官网上下载,都是mysql8.x版本。mysql5.7.37之前的版本,版本的有效时间已经过期,现在 安装的mysql版本是5.7.37以后。

yum repolist all | grep mysql 查看到当前系统mysql的源支持的mysql版本。现在是mysql8的版本

vim /etc/yum.repos.d/mysql-community.repo
[mysql57-community]
name=MySQL 5.7 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.7-community/el/7/$basearch
enabled=1 # 由0改成了1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql-2022
file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
[mysql80-community]
name=MySQL 8.0 Community Server
baseurl=http://repo.mysql.com/yum/mysql-8.0-community/el/7/$basearch
enabled=0 # 由1改成了0
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql-2022
file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
# 安装mysql5.7
yum install mysql-community-server -y

这样就能安装到最新的mysql5.7.x版本。

如果你要用mysql的rpm包安装,安装的顺序

mysql-community-common-5.7.41-1.el7.x86_64
1/6
mysql-community-libs-5.7.41-1.el7.x86_64
2/6
mysql-community-client-5.7.41-1.el7.x86_64
3/6
mysql-community-server-5.7.41-1.el7.x86_64
4/6
mysql-community-libs-compat-5.7.41-1.el7.x86_64

systemctl restart mysqld
systemctl enable mysqld

这种方式安装的mysql数据库的配置文件: /etc/my.cnf

不同方式安装mysql数据库,配置文件的路径是不一样的。所以不要死记。

vim /etc/my.cnf
# 添加validate_password_policy配置 0(LOW),1(MEDIUM),2(STRONG)
validate_password_policy=0
# 关闭密码策略
validate_password = off

修改了mysql的配置文件,要重启,才生效。

此时,不知道root密码的,找到root命令

从mysql的日志获取随机生成的root密码: grep "password" /var/log/mysqld.log

登录数据库: mysql -uroot -p 回车,输入密码,

修改密码:

alter user 'root'@'localhost' identified by '新密码';
# 开启远程访问
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '你的新密码' WITH GRANT
OPTION;
FLUSH PRIVILEGES;
exit;

数据库,默认端口:3306,

数据库的运行日志:/var/log/mysqld.log

数据库的配置文件:/etc/my.cnf

数据库数据文件:/var/lib/mysql

磁盘

  • 机械硬盘
    • 光盘----可以反复擦写
    • 机械臂
    • 转子:现在的机械硬盘,转子的转速一般在7200r/m 14000r/m。 转速越高,从磁盘读数据 的速度,就会越快。但是因为是机械运动,不可能无限快,转速快,会发热。
  • 固态硬盘
  • 光盘:
    • 先理解为一张白纸
    • 光盘的格式化。先分区,然后格式化。
      • 硬盘做分区,是可以提升数据存取速度。
      • 做分区的时候,就会选择格式化。NTFS、ext4
        • 磁盘的格式化,可以提高磁盘利用率,获取数据的时候,速度也更快

扇区:磁盘上的一段弧形

块:相邻的多个扇区构成块。  操作系统与磁盘进行数据交换的单位。

页page:操作系统与内存进行数据交换的单位。一页是由多个块构成。

CPU的速度是最快的,内存的速度居中,磁盘的速度是最慢的。为了配合cpu的速度,需要缓存。

  • 缓存:
    • buff缓冲区:由磁盘虚拟出来的,加快从磁盘读数据的速度。
    • cache缓存:内存中一部分和cpu寄存器

用虚拟化参数都硬盘,都是机械硬盘,在linux中,标识机械硬盘 sd,后面跟一个字母,代表第几个硬盘 (sda第1块机械硬盘),再跟一个数字,数字代表硬盘的第几个分区(sda2第1个硬盘的第2个分区)  sdb2

fdsk -l 可以看硬盘的信息,但是fdisk命令,谨慎使用(有可能符导致磁盘格式化)。

RAID磁盘矩阵:做这个,也是为了提升磁盘的性能,也可以做磁盘数据的备份。 矩阵:就会要用到多个磁盘。

RAID0:数据分片存在2块磁盘,读写速度提升2倍,主要用于SWAP\TMP,但是数据不冗余,数据恢复难

RAID1:相同数据冗余存入2块磁盘,写速度不变,读速度提升2倍,数据冗余1份,主要用于数据备份, 但磁盘利用率低

RAID5:数据分片和校验码混合存储3份,读写速度提升2倍,主要在要求高速时用,可以用于数据还原 RAID10:2块磁盘1组先做RAID1,多组RAID1,再做RAID0。读写速度N倍 n为组数

读磁盘

命令: dd if=/dev/sda of=/dev/null bs=20MB count=100

dd  命令

if  输出文件 /dev/sda 读整个磁盘

of  输出文件 /dev/null  回收站,是一个伪设备,不会有磁盘的写操作

bs 每次操作文件的大小

count  执行次数

这个命令用来测试磁盘在只有读的时候,磁盘的性能。

vmstat 命令可以看到 buff 和 cache

清空缓存: echo 3 > /proc/sys/vm/drop_caches 清空缓存

执行之后,会buff清空,cache会变小。

一般情况下机械硬盘的读磁盘的速度,一般在小几百MB每秒。

写磁盘

先清空缓存: echo 3 > /proc/sys/vm/drop_caches

写磁盘: dd if=/dev/zero of=$PWD/outf bs=16MB count=100

buff没有变,cache是变大了。

磁盘的写的速度,一般也是小几百MB每秒

这些这些命令之前,都要去先清空缓存 dd if=/dev/sda of=$PWD/otf bs=14MB count=100  同时有读和写磁盘操作。 这个操作,buff和cach都会增大,速度,也是在小几百MB每秒,一般还会比单独的读或写的速度要慢。

dd if=/dev/zero of=/dev/null bs=15MB count=100 没有读和写磁盘  ---这些数据都在内存中交 换,这个命令可以测试内存的速度。

执行这个命令,看到buff和cach基本没变,得到内存的速度大概是:小几十GB每秒

内存的速度,大概是磁盘速度的十几倍。

你项目中,同时有读写操作,你可以用iostat这个命令,看读写速度,和等待wait,看是否有磁盘瓶颈。

现在讲的是数据库,因为要大量读磁盘操作,读速度跟不上行,就可能导致,获取数据的响应时间偏 长,导致性能偏低。

这其实就会被大多人理解为慢sql,慢查询。

一般数据库因为磁盘瓶颈,导致的性能问题,一般比较少的换磁盘,而是考虑优化数据库。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/528432.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

配置VM开机自启动

1. 在此电脑-右键选择“管理”-服务和应用程序-服务中找到VMware Workstation Server服务(新版名称也可能是VMware自启动服务,自己找一下,服务属性里有描述信息的),将其启用并选择开机自动启动 新版参考官方文档&…

C语言 函数——函数原型

目录 如何合并成一个完整的程序? 函数原型与函数定义的区别 函数原型的作用 如何合并成一个完整的程序? 问题:在一个函数中调用另一个函数,需要具备哪些条件呢? 若函数的定义出现在函数调用之前 若函数的定义出现…

跨云迁移实操:AWS RDS for mysql 迁移至腾讯云mysql --DTS方式

实操场景:从AWS RDS for mysql 迁移至腾讯云云数据库Mysql,通过腾讯云数据传输服务DTS,进行实时全量增量迁移. 下面九河云给大家带来具体实践介绍 购买迁移数据库--目的端机器(腾讯云MYSQL) 可以源端为5.7所以新建一个参数模版 其…

4 万字 102 道Java经典面试题总结(2024修订版)- 多线程篇

🍅 作者简介:哪吒,CSDN2021博客之星亚军🏆、新星计划导师✌、博客专家💪 🍅 哪吒多年工作总结:Java学习路线总结,搬砖工逆袭Java架构师 🍅 技术交流:定期更新…

全新AI天空任意生成解决方案,颠覆传统换天效果

在数字化时代,影像创作已经成为企业展示品牌形象、传递信息的重要手段。特别是在汽车拍摄和旅行拍摄等场景中,天空作为画面中不可或缺的元素,其表现往往直接关系到作品的质感和吸引力。然而,传统的天空替换技术往往操作繁琐、效果…

中小初创企业如何做好媒体宣传?

传媒如春雨,润物细无声,大家好,我是51媒体网胡老师。 中小初创企业在做媒体宣传时,由于通常资源有限,需要更加精明地使用外部资源来提升品牌知名度和业务成长。利用专业的媒体服务商可以是一个非常有效的方法。 明确…

可视化大屏的应用(9):设备运行监控的应用案例

通过可视化大屏,监控人员可以更加直观地了解设备的运行情况,及时发现问题并进行处理,提高设备的稳定性和可靠性,大千UI工场本期带来相关利用的案例,欢迎友友们品鉴。 可视化大屏在设备运行监控领域有以下作用&#xf…

并发编程之AtomicInteger,AtomicLong,LongAdder

系列文章目录 文章目录 系列文章目录前言前言 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站,这篇文章男女通用,看懂了就去分享给你的码吧。 AtomicInteger类是系统底层保护的int类型,通过提供执行方法的控制进行值…

选择排序解读

在计算机科学中,排序算法是一种将数据元素按照某种顺序排列的算法。今天,我们要探讨的是选择排序(Selection Sort),这是一种简单直观的排序方法,通过不断选择剩余元素中的最小(或最大&#xff0…

python之正则表达式(2)

1、贪婪量词和懒惰量词 贪婪量词:也就是尽可能多的匹配字符 懒惰量词:尽可能少的匹配字符(在现在的计算机语言中大多默认为贪婪量词若想要使用 懒惰量词就需要在后面加上?即可) 代码示例: import rep …

[中级]软考_软件设计_计算机组成与体系结构_11_性能指标

性能指标 字长通路:运算速度总结往年真题 字长 总线字长假设为32位就是 2 32 2^{32} 232,也就是4G,现在所说的32位和64位计算机是由一定关系的。 通路: 一次允许通过的数据量,也是指数据脉冲 运算速度 主频影响运算速度。 主频与CPU时…

RabbitMQ的介绍

为什么使用 MQ? 流量削峰和缓冲 如果订单系统最多能处理一万次订单,这个处理能力在足够应付正常时段的下单,但是在高峰期,可能会有两万次下单操作,订单系统只能处理一万次下单操作,剩下的一万次被阻塞。我们…

回归测试覆盖率指的是什么?

定义 回归测试是指修改了旧代码后,重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误。 在软件开发过程当中,一旦软件代码做了修改,就有可能引入新的问题,所以这个时候就需要把已经完成了的验证用例重新跑一下&…

Colossal AI 多维TP

Colossal AI 多维TP 1. 2D TP 1.1. SUMMA 2D 矩阵乘法 数值示例: 条件:每个矩阵都可以均匀的拆分为 pq^2块(行q块,列q块) 1.2. Transformers上的应用 b: batch size s: seq_len h: hidden size p: GPUs q: pq^2 输…

查分约束学习

问题模型&#xff1a; 有n个变量&#xff1a;&#xff0c;有m个约束条件 令差分数组&#xff0c;可以知道如果x1x2<q&#xff0c;那么与j和i-1有关联 由画图可知&#xff0c;如果有在i-1至j建立的有向图中跑最短路&#xff0c;那么dis[n]即为最小的约束变量 另外&#x…

数据库(mysql)-基础知识点-2

子查询 MySQL中的子查询&#xff08;Subquery&#xff09;是嵌套在其他SQL查询中的查询。子查询可以出现在SELECT、FROM或WHERE子句中&#xff0c;并用于返回将被用于外部查询的数据。子查询的结果可以是一个单一的值、一行、一列或多行多列的数据集。 单行单列查询 实例 #查…

Prompt提示工程上手指南:基础原理及实践(五)-思维树 (ToT)策略下的Prompt

前言 此篇文章已经是本系列的第五篇文章&#xff0c;之前我们已经将检索增强生成(RAG)策略&#xff0c;逐渐我们掌握的知识和技术都在不断提高&#xff0c;对于Prompt的技巧策略也不能只局限于局部运用而要适应LLM大模型的整体框架去进行改进休整。较为主流的LLM模型框架设计基…

Ubuntu16.04更新python3版本

对于初次接触更新ubuntu python版本的开发者&#xff0c;请注意以下两点&#xff08;熟悉系统者请随意&#xff09;&#xff1a; 不要删除软链接&#xff01;不要删除软链接&#xff01;不要删除软链接&#xff01; 不要删除原python版本&#xff01;不要删除原python版本&am…

基于SSM+Jsp+Mysql的高校毕业设计管理系统

开发语言&#xff1a;Java框架&#xff1a;ssm技术&#xff1a;JSPJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包…

MySQL-10. 存储引擎、视图、mysql管理

10.1 存储引擎 存储引擎说白了就是如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方法。因为在关系数据库中数据的存储是以表的形式存储的&#xff0c;所以存储引擎也可以称为表类型&#xff08;即存储和操作此表的类型&#xff09;。 存储引擎(Stor…