快速玩转 Mixtral 8x7B MOE大模型！阿里云机器学习 PAI 推出最佳实践

作者：熊兮、贺弘、临在

Mixtral 8x7B大模型是Mixtral AI推出的基于decoder-only架构的稀疏专家混合网络（Mixture-Of-Experts，MOE）开源大语言模型。这一模型具有46.7B的总参数量，对于每个token，路由器网络选择八组专家网络中的两组进行处理，并且将其输出累加组合，在增加模型参数总量的同时，优化了模型推理的成本。在大多数基准测试中，Mixtral 8x7B模型与Llama2 70B和GPT-3.5表现相当，因此具有很高的使用性价比。

阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务。

本文介绍如何在PAI平台针对Mixtral 8x7B大模型的微调和推理服务的最佳实践，助力AI开发者快速开箱。以下我们将分别展示具体使用步骤。

使用PAI-DSW轻量化微调Mixtral 8x7B MOE大模型

PAI-DSW是云端机器学习开发IDE，为用户提供交互式编程环境，同时提供了丰富的计算资源。我们在智码实验室（智码实验室）Notebook Gallery中上线了两个微调Mixtral 8x7B MOE大模型的示例，参见下图：

上述Notebook可以使用阿里云PAI-DSW的实例打开，并且需要选择对应的计算资源和镜像。

使用Swift轻量化微调Mixtral 8x7B MOE大模型

Swift是魔搭ModelScope开源社区推出的轻量级训练推理工具开源库，使用Swift进行这一大模型LoRA轻量化微调需要使用2张A800（80G）及以上资源。在安装完对应依赖后，我们首先下载模型至本地：

!apt-get update
!echo y | apt-get install aria2

def aria2(url, filename, d):
    !aria2c --console-log-level=error -c -x 16 -s 16 {url} -o {filename} -d {d}

mixtral_url = "http://pai-vision-data-inner-wulanchabu.oss-cn-wulanchabu-internal.aliyuncs.com/mixtral/Mixtral-8x7B-Instruct-v0.1.tar"
aria2(mixtral_url, mixtral_url.split("/")[-1], "/root/")
!cd /root && mkdir -p AI-ModelScope 
!cd /root && tar -xf Mixtral-8x7B-Instruct-v0.1.tar -C /root/AI-ModelScope

import os
os.environ['MODELSCOPE_CACHE']='/root'

当模型下载完毕后，我们使用Swift一键拉起训练任务：

!cd swift/examples/pytorch/llm && PYTHONPATH=../../.. \
CUDA_VISIBLE_DEVICES=0,1 \
python llm_sft.py \
    --model_id_or_path AI-ModelScope/Mixtral-8x7B-Instruct-v0.1 \
    --model_revision master \
    --sft_type lora \
    --tuner_backend swift \
    --dtype AUTO \
    --output_dir /root/output \
    --ddp_backend nccl \
    --dataset alpaca-zh \
    --train_dataset_sample 100 \
    --num_train_epochs 2 \
    --max_length 2048 \
    --check_dataset_strategy warning \
    --lora_rank 8 \
    --lora_alpha 32 \
    --lora_dropout_p 0.05 \
    --lora_target_modules ALL \
    --batch_size 1 \
    --weight_decay 0.01 \
    --learning_rate 1e-4 \
    --gradient_accumulation_steps 16 \
    --max_grad_norm 0.5 \
    --warmup_ratio 0.03 \
 	--eval_steps 300 \
    --save_steps 300 \
    --save_total_limit 2 \
    --logging_steps 10 \
    --only_save_model true \
    --gradient_checkpointing false

模型训练完成后，我们将学习到的LoRA权重合并到模型Checkpoint中：

!swift merge-lora --ckpt_dir '/root/output/mistral-7b-moe-instruct/v3-20231215-111107/checkpoint-12'

其中，ckpt_dir参数的值需要替换成模型LoRA权重保存路径。为了测试模型训练的正确性，我们可以使用transformers库进行离线推理测试：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "/root/output/mistral-7b-moe-instruct/v3-20231215-111107/checkpoint-12-merged"
tokenizer = AutoTokenizer.from_pretrained(model_id, device_map='auto')

model = AutoModelForCausalLM.from_pretrained(model_id, device_map='auto')

text = """[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe. Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>

写一首歌的过程从开始到结束。 [/INST]"""
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用Deepspeed轻量化微调Mixtral 8x7B MOE大模型

我们也可以使用Deepspeed对Mixtral 8x7B MOE大模型进行LoRA轻量化微调。同样的，我们需要使用2张A800（80G）及以上资源。我们首先下载模型至本地：

!apt-get update
!echo y | apt-get install aria2

def aria2(url, filename, d):
    !aria2c --console-log-level=error -c -x 16 -s 16 {url} -o {filename} -d {d}

mixtral_url = "http://pai-vision-data-inner-wulanchabu.oss-cn-wulanchabu-internal.aliyuncs.com/mixtral/Mixtral-8x7B-Instruct-v0.1.tar"
aria2(mixtral_url, mixtral_url.split("/")[-1], "/root/")
!cd /root && tar -xf Mixtral-8x7B-Instruct-v0.1.tar

第二步，我们下载一个示例古诗生成数据集，用户可以根据下述数据格式准备自己的数据集。

!wget -c https://pai-quickstart-predeploy-hangzhou.oss-cn-hangzhou.aliyuncs.com/huggingface/datasets/llm_instruct/en_poetry_train_mixtral.json
!wget -c https://pai-quickstart-predeploy-hangzhou.oss-cn-hangzhou.aliyuncs.com/huggingface/datasets/llm_instruct/en_poetry_test_mixtral.json

第三步，我们可以修改示例命令的超参数，并且拉起训练任务。

!mkdir -p /root/output
!deepspeed /ml/code/train_sft.py \
--model_name_or_path /root/Mixtral-8x7B-Instruct-v0.1/ \
--train_path en_poetry_train_mixtral.json \
--valid_path en_poetry_test_mixtral.json \
--learning_rate 1e-5 \
--lora_dim 32 \
--max_seq_len 256 \
--model mixtral \
--num_train_epochs 1 \
--per_device_train_batch_size 8 \
--zero_stage 3 \
--gradient_checkpointing \
--print_loss \
--deepspeed \
--output_dir /root/output/ \
--offload

当训练结束后，我们拷贝额外配置文件至输出文件夹：

!cp /root/Mixtral-8x7B-Instruct-v0.1/generation_config.json /root/output
!cp /root/Mixtral-8x7B-Instruct-v0.1/special_tokens_map.json /root/output
!cp /root/Mixtral-8x7B-Instruct-v0.1/tokenizer.json /root/output
!cp /root/Mixtral-8x7B-Instruct-v0.1/tokenizer.model /root/output
!cp /root/Mixtral-8x7B-Instruct-v0.1/tokenizer_config.json /root/output

我们同样可以使用transformers库进行离线推理测试：

import os
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "/root/output/"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id,device_map='auto',torch_dtype=torch.float16)

text = """[INST] Write a poem on a topic 'Care for Thy Soul as Thing of Greatest Price': [/INST]"""
inputs = tokenizer(text, return_tensors="pt").to('cuda')

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

如果用户需要将上述模型部署为EAS服务，需要将格式转换成safetensors格式：

state_dict = model.state_dict()
model.save_pretrained(
    model_id,
    state_dict=state_dict,
    safe_serialization=True)

使用PAI-EAS在线部署Mixtral 8x7B MOE大模型

PAI-EAS是PAI平台推出的弹性推理服务，可以将各种大模型部署为在线服务。当Mixtral 8x7B MOE大模型微调完毕后，我们可以将其部署为PAI-EAS服务。这里，我们介绍使用PAI-SDK将上述模型进行部署。首先，我们在PAI-DSW环境安装PAI-SDK：

!python -m pip install alipai --upgrade

在安装完成后，在在命令行终端上执行以下命令，按照引导完成配置AccessKey、PAI工作空间以及 OSS Bucket：

python -m pai.toolkit.config

我们将训练好的模型上传至OSS Bucket。在下述命令中，source_path为模型Checkpoint保存的本地路径，oss_path为上传至OSS的目标路径：

import pai
from pai.session import get_default_session
from pai.common.oss_utils import upload

print(pai.__version__)
sess = get_default_session()

# 上传模型到默认的Bucket
model_uri = upload(
    source_path="/root/output", 
    oss_path="mixtral-7b-moe-instruct-sft-ds"
)

print(model_uri)

PAI 提供了Mixtral 8X7B MOE 模型部署镜像和部署代码，用户可以通过相应的部署配置，将微调后的模型部署到PAI-EAS。

from pai.model import RegisteredModel
from pai.predictor import Predictor

# 获取PAI提供的Mixtral模型服务配置（目前仅支持乌兰察布）
inference_spec = RegisteredModel(
    "Mixtral-8x7B-Instruct-v0.1",
    model_provider="pai",
).inference_spec

# 修改部署配置，使用微调后的模型
infer_spec.mount(model_uri, model_path="/model")


# 部署推理服务服务
m = Model(inference_spec=infer_spec)

predictor: Predictor = m.deploy(
    service_name = 'mixtral_sdk_example_ds',
    options={
		"metadata.quota_id": "<ResourceGroupQuotaId>",
        "metadata.quota_type": "Lingjun",
        "metadata.workspace_id": session.workspace_id
    }
)

以上配置项中，metadata.quota_id是用户购买的灵骏资源配额ID，在购买了灵骏资源之后，用户可以从PAI控制台页面的资源配额入口获取相应的信息。

部署的模型可以通过deploy方法返回的Predictor对象进行调用。模型使用的Prompt模版如下，其中[INST]和[/INST]之间的是用户输入，Prompt输入需要按相应的格式准备，避免模型生成低质量的结果。

<s> [INST] User Instruction 1 [/INST] Model answer 1</s> [INST] User instruction 2 [/INST]

调用部署服务的示例代码如下：


# 格式化输入Prompt
def prompt_format(instructions: List[Dict[str, str]]):
    prompt = ["<s>"]
    for user, assistant in zip(instructions[::2], instructions[1::2]):
        inst = user["content"].strip()
        resp = assistant["content"]
        prompt.append(f"[INST] {inst} [/INST] {resp}</s>")

    prompt.append(f"[INST] {instructions[-1]['content']} [/INST]")
    return "".join(prompt)

# 获取模型产生的实际内容
def extract_output(text, prompt):
    if prompt and text.startswith(prompt):
        return text[len(prompt) :]
    return text

prompt = prompt_format(
    [
        {
            "role": "user",
            "content": "Who are you?",
        },
    ]
)

res = predictor.raw_predict(
    path="/generate",
    data=json.dumps(
        {
            "prompt": prompt,
            "use_beam_search": False,
            "stream": False,
            "n": 1,
            "temperature": 0.0,
            "max_tokens": 860,
        }
    ),
)

print(extract_output(res.json()["text"][0], prompt))

# Hello! I am a large language model trained by Mistral AI. I am designed to generate human-like text based on the input I receive. I do not have personal experiences or emotions, but I can provide information, answer questions, and engage in conversation to the best of my abilities. How can I assist you today?

流式推理能够提高大语言模型推理服务的响应效率，处理长文本的问题。通过配置参数stream:True，可以使服务以流式响应推理结果：


# API 请求路径
url = predictor.internet_endpoint + "/generate"
# 推理服务的Token
access_token = predictor.access_token

prompt = prompt_format(
        [
            {
                "role": "user",
                "content": "Explain the meaning of life.",
            },
        ]
)
res = requests.post(
    url=url,
    headers={
        "Authorization": access_token,
    },
    json={
        "prompt": prompt,
        "use_beam_search": False,
        # 服务端：以流式返回推理结果
        "stream": True,
        "n": 1,
        "temperature": 0.0,
        "max_tokens": 860,
    },
    # 客户端：以流式处理响应结果
    stream=True,
)
for chunk in res.iter_lines(chunk_size=8192, delimiter=b"\0"):
    if not chunk:
        continue
    print(extract_output(json.loads(chunk)["text"][0], prompt))


# Hello
# Hello!
# Hello! I
# Hello! I am
# Hello! I am a
# Hello! I am a large
# Hello! I am a large language
# Hello! I am a large language model
# Hello! I am a large language model trained
# Hello! I am a large language model trained by
# Hello! I am a large language model trained by Mist
# Hello! I am a large language model trained by Mistral
# Hello! I am a large language model trained by Mistral AI
# Hello! I am a large language model trained by Mistral AI.

使用PAI-QuickStart微调和部署Mixtral 8x7B MOE大模型

快速开始（PAI-QuickStart）集成了国内外AI开源社区中优质的预训练模型，支持零代码或是SDK的方式实现微调和部署Mixtral 8x7B MOE大模型，用户只需要格式准备训练集和验证集，填写训练时候使用的超参数就可以一键拉起训练任务。Mixtral的模型卡片如下图所示：

通过控制台使用

我们可以根据实际需求上传训练集和验证集，调整超参数，例如learning_rate、sequence_length、train_iters等，如下所示：

点击“训练”按钮，PAI-QuickStart开始进行训练，用户可以查看训练任务状态和训练日志，如下所示：

如果需要将模型部署至PAI-EAS，可以在同一页面的模型部署卡面选择资源组，并且点击“部署”按钮实现一键部署。模型调用方式和上文PAI-EAS调用方式相同。

通过PAI Python SDK使用

开发者也可以通过PAI Python SDK调用PAI提供的预训练模型。通过模型上配置的微调训练算法，开发者可以轻松得提交一个微调训练任务。

from pai.model import RegisteredModel

# 获取PAI提供的预训练模型
m = RegisteredModel(
    "Mixtral-8x7B-Instruct-v0.1",
    model_provider="pai",
)

# 获取模型的微调训练算法
est = m.get_estimator(
    # 灵骏资源组资源配额ID
    resource_id="<LingjunResourceQuotaId>",
    # 训练超参
    hyperparameters={
        "learning_rate": 1e-5,
        "num_train_epochs": 1,
        "per_device_train_batch_size": 4,
    },
)

# 获取训练输入数据：包括模型，以及测试使用的公共数据集
inputs = m.get_estimator_inputs()

# 提交训练作业，等待作业完成
est.fit(
    inputs=inputs
)

# 查看模型的输出路径
print(est.model_data())

通过模型上预置的推理服务配置，开发者仅需指定机器资源配置，即可部署一个推理服务。推理服务的调用请参考以上的 PAI-EAS 部署推理的章节。

from pai.session import  get_default_session
from pai.model import RegisteredModel

session = get_default_session()

m = RegisteredModel(
    "Mixtral-8x7B-Instruct-v0.1",
    model_provider="pai",
)

# 部署推理服务
predictor = m.deploy(
    service_name="mixtral_example_{}".format(random_str(6)),
    options={
        # 资源配额ID
        "metadata.quota_id": "<ResourceGroupQuotaId>",
        "metadata.quota_type": "Lingjun",
        "metadata.workspace_id": session.workspace_id,
    }
)

print(predictor.internet_endpoint)

用户可以查看文档，了解更多如何通过SDK使用PAI提供的预训练模型：使用预训练模型 — PAI Python SDK。

当测试完成，需要删除服务释放资源，用户可以通过控制台或是SDK完成：

# 删除服务
predictor.delete_service()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/338734.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【数据结构初阶】——顺序表

【数据结构初阶】——顺序表

本文由睡觉待开机原创&#xff0c;转载请注明出处。 本内容在csdn网站首发 欢迎各位点赞—评论—收藏 如果存在不足之处请评论留言&#xff0c;共同进步&#xff01; 这里写目录标题 1.数据结构2.顺序表线性表顺序表的结构 3.动态顺序表的实现 1.数据结构 数据结构的概念&…
阅读更多...
2024年【中级消防设施操作员（考前冲刺）】考试题库及中级消防设施操作员（考前冲刺）免费试题

2024年【中级消防设施操作员（考前冲刺）】考试题库及中级消防设施操作员（考前冲刺）免费试题

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 中级消防设施操作员&#xff08;考前冲刺&#xff09;考试题库参考答案及中级消防设施操作员&#xff08;考前冲刺&#xff09;考试试题解析是安全生产模拟考试一点通题库老师及中级消防设施操作员&#xff08;考前冲…
阅读更多...
外呼机器人有什么优势？

外呼机器人有什么优势？

外呼机器人有什么优势&#xff1f;值得受到大多数电销企业的追捧&#xff01; 1、电话外呼效率高&#xff1a; 每天可拨打的电话数量是人工的5-10倍&#xff0c;人工一天只能拨打200-300通电话&#xff0c;机器人每天能打3000通电话以上&#xff0c;无须休息&#xff0c;按照…
阅读更多...
洛谷P1161 开灯

洛谷P1161 开灯

这倒也是水题&#xff0c;我们可以建立一个数组&#xff0c;数组的下标就是编号&#xff0c;我们要注意的是浮点数乘法的结果要转化成整数&#xff0c;才能当做下标&#xff0c;因为题目给的是整数编号。 # include <stdio.h> int main() {int a[1000000] { 0 }, n, t,…
阅读更多...
使用定时器外设的输入捕捉功能及测量脉冲宽度

使用定时器外设的输入捕捉功能及测量脉冲宽度

使用定时器外设的输入捕捉功能及测量脉冲宽度 文章目录 使用定时器外设的输入捕捉功能及测量脉冲宽度Introduction硬件定时器外设输入捕获功能的机制使用两个通道&#xff08;引脚&#xff09;的单边沿触发输入捕获使用单通道&#xff08;引脚&#xff09;的双边沿触发输入捕获…
阅读更多...
16.5 参考文献——深度学习定位

16.5 参考文献——深度学习定位

16.5 一种高效鲁棒的多楼层室内环境指纹定位方法 同济大学 Zhao Y, Gong W, Li L, et al. An Efficient and Robust Fingerprint Based Localization Method for Multi Floor Indoor Environment[J]. IEEEa Internet of Things Journal, 2023. 2.相关工作 B.基于深度学习的…
阅读更多...
SAI实例研究

SAI实例研究

实例1 creature.id 15937&#xff08;smart_script.entryorguid&#xff09;的SAI设置&#xff1a; 第1条(id 0&#xff09; 当 creature 进入战斗后&#xff08;event_type 0&#xff09;&#xff0c;creature 对当前目标&#xff08;target_type 2&#xff09;周期性施…
阅读更多...
VS里那些实用的调试（debug）技巧

VS里那些实用的调试（debug）技巧

前言——————希望现在在努力的各位都能感动以后享受成功的自己&#xff01; 首先我们要来了解什么是bug——————bug本意是“昆虫”或“虫子”&#xff0c;现在⼀般是指在电脑系统或程序中&#xff0c;隐藏着的⼀些未被发现的缺陷或 问题&#xff0c;简称程序漏洞。 “…
阅读更多...
【Flink-1.17-教程】-【四】（1）Flink DataStream API - 源算子（Source）

【Flink-1.17-教程】-【四】（1）Flink DataStream API - 源算子（Source）

【Flink-1.17-教程】-【四】&#xff08;1&#xff09;Flink DataStream API - 源算子&#xff08;Source&#xff09; 1&#xff09;执行环境&#xff08;Execution Environment&#xff09;1.1.创建执行环境1.2.执行模式&#xff08;Execution Mode&#xff09;1.3.触发程序执…
阅读更多...
PostgreSQL的date_part()函数

PostgreSQL的date_part()函数

date_part() 函数从指定的时间戳或者时间间隔中抽取指定的部分并返回。 date_part(field TEXT, source TIMESTAMP) -> DOUBLE PRECISION date_part(field TEXT, source DATE) -> DOUBLE PRECISION date_part(field TEXT, source TIME) -> DOUBLE PRECISION date_part…
阅读更多...
qemu使用

qemu使用

百度qemu bios 问题 坑爹的玩意&#xff0c;编译qemu 还需要python3.5以上 解决方法&#xff1a; CentOS7安装Python3.8-CSDN博客 https://www.cnblogs.com/Oliver.net/p/7211967.html 编译python3.8还由于openssl过低 参考 QEMU启动x86-Linux内核_qemu-system-x86-…
阅读更多...
进程间协同：从进程启动、同步与互斥到进程间通信

进程间协同：从进程启动、同步与互斥到进程间通信

进程间协同的目的 在操作系统中&#xff0c;进程是计算机进行任务分配和调度的基本单位。在计算机系统中&#xff0c;有很多任务是无法由单个进程独立完成的&#xff0c;需要多个进程共同参与并协作完成。这就像在现实生活中&#xff0c;有些工作需要一个团队来完成&#xff0…
阅读更多...
Vue 组件通信方式

Vue 组件通信方式

✨ 专栏介绍 在当今Web开发领域中&#xff0c;构建交互性强、可复用且易于维护的用户界面是至关重要的。而Vue.js作为一款现代化且流行的JavaScript框架&#xff0c;正是为了满足这些需求而诞生。它采用了MVVM架构模式&#xff0c;并通过数据驱动和组件化的方式&#xff0c;使…
阅读更多...
三、MySQL库表操作

三、MySQL库表操作

3.1 SQL语句基础&#xff08;SQL命令&#xff09; 3.1.1 SQL简介 SQL&#xff1a;结构化查询语言(Structured Query Language)&#xff0c;在关系型数据库上执行数据操作&#xff0c;数据检索以及数据维护的标准化语言。使用SQL语句&#xff0c;程序员和数据库管理员可以完成…
阅读更多...
关于C语言整型提升的讲解

关于C语言整型提升的讲解

目录 1.什么是整型提升 2.整型提升的意义 3.整型提升是怎么提升的 4.整型提升的实例 1.什么是整型提升 C语言中的整型算术运算总是以缺省&#xff08;默认&#xff09;整型类型的精度来进行的。为了获得这个精度&#xff0c;表达式中的字符和短整型操作数在使用之前会被转换…
阅读更多...
Android学习之路(22) 从模块化到组件化

Android学习之路(22) 从模块化到组件化

从模块化到组件化 一、从模块化到组件化 Android 应用项目 , 都存在一个应用模块 ( Application Module ) , 在 build.gradle 构建脚本中 , 第一个插件配置 com.android.application , 表明 该 Module 编译打包后的输出是 APK 安装包 ; 该项目可以直接运行 ; plugins {id co…
阅读更多...
回溯法:澳大利亚地图染色问题及伪代码(模版)

回溯法:澳大利亚地图染色问题及伪代码(模版)

问题背景 澳大利亚地图染色问题&#xff1a; 用红绿蓝3色标出各省&#xff0c; 相邻者颜色不同。 对应于澳大利亚地图的约束图&#xff0c; 相互关联的节点用边连接。 − 西澳大利亚 – WA − 北领地 – NT − 南澳大利亚 – SA − 昆士兰 – Q − 新南威尔士 – NSW − …
阅读更多...
79、avx2 向量指令集优化卷积运算

79、avx2 向量指令集优化卷积运算

上一节 介绍了 avx2 向量指令集中的 load/store 操作，本节介绍如何使用 avx2 的向量指令集来实现乘累加运算。 因为我们实战中用到的 resnet50 神经网络中，卷积运算在整个模型中的比例占据是相当高，而卷积运算的核心计算就是乘累加计算。因此，只要将最核心的乘累加计算效率…
阅读更多...
Shiro框架：Shiro用户访问控制鉴权流程-Aop注解方式源码解析

Shiro框架：Shiro用户访问控制鉴权流程-Aop注解方式源码解析

目录 1.Spring Aop嵌入点解析 2.Shiro框架Aop切面逻辑解析 2.1 通过注解实现切点 2.2 通过增强逻辑执行校验过程 2.2.1 增强实现类AopAllianceAnnotationsAuthorizingMethodInterceptor 2.2.1.1 类图解析 2.2.1.2 实现增强方法 2.2.1.3 Shiro校验逻辑实现 2.2.1.3.1 …
阅读更多...
JVM篇--垃圾回收器高频面试题

JVM篇--垃圾回收器高频面试题

1 你知道哪几种垃圾收集器&#xff0c;各自的优缺点是啥&#xff0c;重点讲下cms和G1&#xff0c;包括原理&#xff0c;流程&#xff0c;优缺点&#xff1f; 1&#xff09;首先简单介绍下 有以下这些垃圾回收器 Serial收集器&#xff1a; 单线程的收集器&#xff0c;收集垃圾时…
阅读更多...
最新文章

Copyright @ 2022~2023