性能分析--内存知识

内存相关知识

计算机中与CPU进行数据交换的桥梁。内存的速度，比CPU的速度要慢很多。比磁盘速度要快很多。
内存中存放数据，一旦断电就会消失。
linux系统的 /proc路径下的文件，都是内存文件。
内存大小，一般是GB为单位。现在都操作系统是 64位，可以支持几个T的内存
服务器的内存：常见 8g 16g 32g 64g
内存：内存地址存储单元两部分组成
内存单元大小，不是固定。（一般8位）

存储单元

简单数据类型可以指定长度
有些数据类型不明确长度，不明确的长度存储单元，就有管理存储数据的数据结构。

列表的数据结构，索引位置，告诉你某个数据在列表的中的某个位置。列表，插入或删除一个数据，在它的索引位置之后的所有数据，都得移动。列表数据类型，在进行数据插入、删除是比较慢的。

链表：数据之间相互记录，构成一个数据链

链表插入数据、删除数据，速度比列表要快，但是查询或获取数据的速度要比列表要慢

二叉树：是一个链表

类、对象：比较复杂的，数据要存放，不知道具体应该怎么存

堆：用于存放比较复杂的第数据

堆区：连续一段地址空间，存放堆数据

栈stack区：连续一段地址空间，来存放数据长度比较明确的数据

堆栈：是两种数据结构。

栈stack区：LIFO ===Last In First Out 后进先出

压栈弹出

队queue列： FIFO ====FirstInFirstOut 先进先出

顺序队列、循环队列堆

内存：有堆区和栈区。每一个程序启动时候会申请一段内存空间，在自己申请的内存空间中，划分出堆区和栈区

虚拟内存，是记录程序的内存中数据的区域的。

图解虚拟内存、物理内存、swap 分区的工作与管理

CPU对程序计算某个功能时候，就问虚拟内存，要xxx类型的数据应该到内存的哪个地方去获取。虚拟内存就会返回结果给 CPU。CPU拿到这个地址之后就直接去内存条中，地址区间去取数据。

cpu从内存中，读数据，是以-页page-为单位。

php、python、go语言项目，没有强制现在项目的内存空间大小，所以一般不会有内存溢出问题，但是并不是说，就没有内存问题。

内存溢出，只是内存问题中的一种。

内存泄露：程序在运行过程中，某次请求申请了一段内存空间（从程序自己的内存空间中申请了一段）使用，使用完成之后不释放，导致可用内存越来越少。

可用的内存漏掉了。

内存溢出：经过一段时间的内存泄露之后，某次申请内存空间时，申请的空间大小，大于剩余可用空间，此时就内存溢出。

性能角度来讲，不建议代码中使用递归。

怎么知识内存溢出了？

1、观察程序的内存使用情况，完全几乎全部使用，肯定有内存溢出。
2、内存溢出，不一定会报出错误。
- 1、报错误：日志中、直接发送给请求当作请求的响应

堆区：新生代new、老年代Tenured、永久代Perm

new : Ø昙花一现，朝生夕死的对象代码方法内部变量
- eden区
- from区
- to区
Tenured： Ø大对象 or 多次被GC后还在的对象(顽固份子)

项目中新申请的资源都放在 new中，使用之后判断策略，多次判断这个资源是否还用，如果还可以用，把这个资源移动到Tenured。

YGC: 主要回收新生代的空间、回收频率高，每次收时间短

FGC：主要回收老年代的空间、回收频率低，每次回收用到时间长

还包括：回收新生代、元空间

总的GC回收时间，期望越短越好 = YGC时间 + FGC的时间

3650+1440 = 5090

52*40 + 2*5*60 = 2080+600 = 2680

GC是资源回收，一定要有的，期望回收总时间少的。 ygc和fgc的频率是关键.

这个就要反复测试出来而不是计算出来

调整新生代与老年代的大小
- 1、调整整个内存大小（调整YGC的回收频率）
- 2、调整新生代老年代的配比（调整FGC的回收频率）

YGC 回收的时间一般是小几十毫秒到小几百毫秒以内

FGC回收的时间，大几百毫秒甚至上秒

验证：内存溢出、gc

配置参数

tomcat是部署java的一个中间件，springboot开发，自身就带有tomcat，springboot的项目，可以放到 tomcat中启动，也可以直接使用 java -jar xxx.jar

tomcat的bin文件夹中 catalina.sh 配置，配置内存信息(内容见下方)

tomcat的conf有 server.xml 配置配置服务协议、端口

tomcat的logs文件夹日志文件

tomcat的webapps文件夹放项目

项目打war包，自动可以解压

JAVA_OPTS=”-server -Xms512m -Xmx512m -Xmn128m -Xss256k -XX:PermSize=128m -XX:+PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:filename”

打印gc的配置，一般不在生成环境中添加。

server.xml中线程池的（保持的连接数，企业配置的数值都比较小）

配置 acceptCount：能接收的队列长度，队列满了再有连接就会被拒绝（修改线程池）

tomcat

配置文件：

bin文件夹下： catalina.sh
- 配置堆栈信息
conf 文件夹下： server.xml文件
- 服务、线程池信息

实战

tomcat + java项目可以配置 catalina.sh 堆栈信息，也可以不配

有内存溢出的问题，堆栈信息配置，配大一些，也只是内存溢出的时间延后一点。

环境要求： jre\jdk8

上传 tomcat的包、JvmPertest.war包服务器上

解压 tomcat， JvmPertest.war包丢到 tomcat的webapps文件夹下

配置 catalina.sh文件

启动tomcat

测试

使用jmeter调用 http://ip:8080/JvmPertest/pertest1

去logs查看日志

调用jmeter脚本一段时间持续运行

日志如下（在日志信息中不一定会出现错误信息）：

发现响应出错了，錯誤信息中，：

nested exception is java.lang.OutOfMemoryError: Java heap space

定位

已经出现了内存溢出问题，下一次测试的时候，要重启项目（注意内存溢出会可能会导致无法停止项目，需要杀掉进程重启项目

安装arthas

curl -O https://arthas.aliyun.com/math-game.jar

启动arthas

java -jar math-game.jar

把arthas 连接到 java进程上

使用jmeter进行性能测试，测试时发现有内存溢出的问题的时候，我们在arthas中执行 heapdump 就会在很短时间内存把内存新的信息dump下来，生成一个hprof文件，放在tomcat的temp文件夹中。把hprof的文件下载下来，然后使用MAT(MemoryAnalyzer)工具打开。做java开发，编辑器是可以去安装这个插件

1、我们已经获取到内存溢出时的堆栈信息 hprof文件，这个文件可以直接给开发人员，让他们去定位具体问题 -----对于没有java基础

2、你想分析定位具体问题，使用mat(MemoryAnalyzer)工具，打开 hprof文件，进一步分析。

假设性能测试服务是一个集群，对这个集群大服务，进行性能测试时，发现了内存溢出，集群是由多个服务构成的，怎么来获取堆栈信息？

1、首先判断出现内存溢出的服务是哪个？
- 1、集群中，所有的服务的日志看一遍 ===== 内存溢出，日志可能有错误信息。
  - 有内存溢出的日志在服务上，肯定这个服务就内存溢出了，此时就获取这个服务所在的机器的堆栈信息就可以了。
2、看java进程的内存使用情况。内存几乎都用完了 --------就是这个了

仅仅只是加大服务的内存，是不一定能解决内存溢出问题。为什么内存溢出，是申请了内存没有释放，导致内存泄露，然后时间久了就内存溢出。

内存回收，也是可能导致内存溢出的一种原因。

内存的释放，就与GC有关系。调整内存的参数配比，是不是就会改变GC频率。 ----把新生代调大，老年代调小。（前提内存总大小没有变）

确认是否有效？

就会打印 gc日志（gc.log），通过分析gc日志来判断是否有效。

有了gc日志，可以使用 gceasy.io网站