大语言模型训练的全过程:预训练、微调、RLHF

一、 大语言模型的训练过程

在这里插入图片描述

  1. 预训练阶段:PT(Pre training)。使用公开数据经过预训练得到预训练模型,预训练模型具备语言的初步理解;训练周期比较长;
  2. 微调阶段1:SFT(指令微调/有监督微调)。如果想要预训练模型在某个垂直领域(金融、法律、电商等)有更好的知识储备,就需要使用人工标注的QA问答对进行有监督的微调训练,从而得到精调模型;训练周期较短;
  3. 微调阶段2:对齐/强化训练。精调模型的输出并不是全部都令人满意的,我们还需要让模型知道回复的接受度。可以在运行日志中收集对齐数据,包含【问题,接受的回复,不接受的回复】,再进行对齐训练,得到最后可使用的模型;

二、 预训练

2.1、 预训练数据

目的:构建一个多样化、高质量的预训练语料库,为模型提供语言知识

  • 数据来源:从公开的数据集(如Common Crawl、Wikipedia、BooksCorpus)中获取文本数据。确保数据包含多种类型(如对话、新闻、小说、百科等),以提高模型的适用性;
  • 数据清洗:去除HTML标签、无意义字符、重复句子等。清洗过程中要特别注意去掉垃圾数据,以保证语料库的质量;
  • 分词与标志化:将数据按单词或子词进行分割。大部分大语言模型使用子词级别的标记化算法(如BPE、WordPiece、SentencePiece),因为它可以提高词汇表覆盖度并减少OOV(Out of Vocabulary)词的出现;
  • 词汇表生成:根据分词后的语料生成词汇表。词汇表大小根据模型大小调整,通常在3万到5万之间;
  • 数据格式:将标记化的数据保存成方便训练的格式(如TFRecord、HDF5),同时包含输入和输出标记以供训练时使用;

2.2、 模型架构选择

目标:定义大语言模型的结构,包括层数、隐藏单元大小、注意力头数等。

选择模型类型:根据任务选择模型架构,例如:

  • GPT类(自回归):适合顺序生成任务:聊天;
  • BERT类(自编码):适合文本理解任务:实体命名;
  • T5、BART等(编码-解码):兼顾生成和理解任务。

超参设计

  • 层数:通常在6层到24层,甚至更多;
  • 隐藏层维度:常见的选择是512、1024、2048等;
  • 注意力头数:可以选4、8、16头等,头数越多注意力计算越细致;
  • 词嵌入层和位置嵌入层:在每个输入标记中嵌入位置编码,用于帮助模型理解序列顺序。

初始化策略:采用适合深度网络的参数初始化方法(如Xavier、He初始化)以避免梯度消失或爆炸。

2.3、训练前准备

目标:配置训练硬件和分布式计算环境,优化数据加载和模型更新效率。

  • 硬件配置:大模型训练需要大量计算资源,建议使用多GPU集群或TPU集群;确保显存足够容纳模型参数和批量数据。
  • 分布式训练:采用数据并行或模型并行策略(如Megatron-LM、DeepSpeed)以提升训练速度。要确保数据加载的高效性和设备间的通信速度。
  • 优化器选择:一般选择Adam或AdamW优化器,针对大模型训练的优化方法(如LAMB、LARS)也可以提高效率。
  • 学习率调度:选择合适的学习率调度策略,如Warmup、Cosine Decay、Polynomial Decay等;在训练初期采用小学习率,以稳定模型更新。

2.4、 正式训练

目标:根据语言建模任务定义训练目标,使用反向传播优化模型参数。

  • 损失函数:大多数大语言模型的预训练目标是自回归语言建模填充式语言建模,两者都依赖于交叉熵损失函数 (Cross-Entropy Loss) 来优化模型参数,计算模型预测的概率分布和目标分布之间的误差。
  • 梯度累积:对于大模型,可以使用梯度累积来模拟更大的批次,从而节省显存开销。
  • 混合精度训练:采用FP16(半精度浮点数)进行训练,降低内存占用并加速计算。
  • 监控与日志记录:记录训练损失、精度、学习率、梯度大小等;可以借助TensorBoard或WandB监控训练进展。
  • 定期保存检查点:定期保存模型检查点,确保即使训练中断也可以从最新进度恢复。

2.5、 评估与验证

目标:评估模型在验证集上的表现,确保模型未出现过拟合或欠拟合。

  • 验证集构建:从原始语料中划分出一部分作为验证集,保持数据分布与训练集一致。
  • 评估指标:使用困惑度(Perplexity,PPL)等指标,评估模型生成内容的连贯性和准确性。
  • 调优超参数:根据验证集上的表现,调节学习率、批次大小、正则化等超参数。

2.6、 后处理与保存

目标:对训练好的模型进行优化和保存,方便后续使用和部署。

  • 模型剪枝与量化:通过模型剪枝(去除冗余参数)和量化(如8位或混合精度量化)来减少模型大小、提升推理效率。
  • 保存模型:将训练好的模型权重、词汇表等保存成可加载格式(如PyTorch的.pt或TensorFlow的SavedModel格式)。
  • 模型测试:在实际下游任务上测试模型生成和理解能力,确保模型可以在推理时高效工作

2.7、 模型部署

目标:将训练好的模型集成到应用中,提供生成或理解任务的服务。

  • 推理优化:通过ONNX、TensorRT等工具优化推理速度,降低延迟。
  • 部署平台:可以选择部署在云平台(如AWS、GCP)、本地服务器或边缘设备,根据应用场景选择合适的架构。

三、 指令微调

3.1、微调数据

微调模型时使用的数据类型应与目标应用场景紧密相关,数据的具体类型取决于任务要求。以下是几种常见的微调数据类型及示例:

  1. 问答数据:适用于客服问答系统、知识库系统;
{
  "question": "如何重置我的密码?",
  "answer": "请前往设置页面,选择“安全设置”,然后点击“重置密码”按钮,按提示操作即可。"
},
{
  "question": "你们的退款政策是什么?",
  "answer": "在购买后的30天内,符合条件的订单可申请全额退款。"
}
  1. 对话数据:适用于聊天机器人、客户服务、智能助理
[
  {"role": "user", "content": "你们的营业时间是几点?"},
  {"role": "assistant", "content": "我们每天早上9点到晚上9点营业,周末时间相同。"}
],
[
  {"role": "user", "content": "今天有什么优惠活动?"},
  {"role": "assistant", "content": "本周有会员双倍积分活动,消费满100元还可享9折优惠。"}
]
  1. 分类数据:情感分析、意图识别、文本分类任务
{
  "text": "这个产品的质量真差,下次不会再买了!",
  "label": "负面"
},
{
  "text": "客服服务很好,很满意!",
  "label": "正面"
}
  1. 生成任务数据:适用于内容生成、摘要生成、翻译等任务
{
  "prompt": "请写一封申请信用卡的邮件",
  "completion": "尊敬的银行工作人员:\n您好!我想申请一张信用卡,希望能获得适合我的信用额度。感谢您的帮助!"
},
{
  "prompt": "产品描述:请简要描述这款运动手表的功能",
  "completion": "这款运动手表具有心率监测、GPS定位、步数计算和防水功能,是运动爱好者的理想选择。"
}

  1. 指令式数据:适用于对话式AI助理、智能客服、内容推荐
{
  "instruction": "给出3个关于如何提高生产力的建议。",
  "output": [
    "每天制定一个合理的工作计划。",
    "避免长时间分心,集中精力处理手头任务。",
    "使用任务管理工具追踪进度。"
  ]
},
{
  "instruction": "解释一下什么是机器学习。",
  "output": "机器学习是一种让计算机通过数据自动学习和改进的方法,不需要人为编程。"
}

  1. 知识图谱或事实数据:适用于事实问答系统、知识性内容生成
{
  "entity": "爱因斯坦",
  "facts": [
    {"fact": "出生日期", "value": "1879年3月14日"},
    {"fact": "国籍", "value": "德国"},
    {"fact": "主要成就", "value": "相对论"}
  ]
},
{
  "entity": "太阳系",
  "facts": [
    {"fact": "行星数量", "value": "8"},
    {"fact": "最大行星", "value": "木星"},
    {"fact": "距银河系中心的距离", "value": "约2.7万光年"}
  ]
}

3.2、任务类型、损失函数、评估指标

任务类型:

  1. 生成任务:如对话生成、文章续写等,模型的目标是生成连贯的文本。
  2. 分类任务:如情感分析、意图识别等,模型需要在每个输入上输出特定类别。
  3. 问答任务:针对用户提出的问题,生成相关回答。

损失函数选择:

  • 交叉熵损失:分类任务通常使用交叉熵损失,评估模型生成的词分布与目标词的匹配度。
  • KL散度:通常用于生成模型,评估两个概率分布的相似性;
  • 定制损失:如果有特定需求,也可以根据任务要求设计损失函数,增加正则化或加权方式等。

评估指标:

  • 困惑度 (Perplexity, PPL):适用于生成任务,评估生成文本的质量。
  • 准确率 (Accuracy):适用于分类任务,评估标签预测的准确度。
  • BLEU/ROUGE:适用于文本生成任务,评估生成文本与参考文本的相似度。
  • F1、召回率:适用于多分类或不平衡数据任务,问答任务或情感分析任务。

3.3、代码

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, Trainer, TrainingArguments
from datasets import load_dataset, Dataset

# Step 1: 加载预训练模型和分词器
model_name = "your_pretrained_model"  # 预训练模型名称
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Step 2: 加载私域数据集(假设为JSON格式)
# 私域数据的格式为 [{"input": "input text", "target": "target text"}]
data_path = "path_to_your_data.json"  # 数据文件路径
raw_datasets = load_dataset("json", data_files=data_path)

# Step 3: 数据预处理
def preprocess_function(examples):
    # 将输入和目标文本编码为模型可以理解的token形式
    inputs = tokenizer(examples['input'], padding="max_length", truncation=True, max_length=128)
    targets = tokenizer(examples['target'], padding="max_length", truncation=True, max_length=128)
    
    # 创建labels,将target部分作为训练目标
    inputs["labels"] = targets["input_ids"]
    return inputs

# 使用map函数对数据集进行预处理
tokenized_datasets = raw_datasets.map(preprocess_function, batched=True)

# Step 4: 配置训练参数
training_args = TrainingArguments(
    output_dir="./finetuned_model",  # 模型保存路径
    evaluation_strategy="epoch",
    learning_rate=5e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=3,
    weight_decay=0.01,
    logging_dir="./logs",
    logging_steps=10,
    save_strategy="epoch",
    save_total_limit=2,
)

# Step 5: 初始化Trainer并微调模型
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets['train'],
    eval_dataset=tokenized_datasets['test'] if 'test' in tokenized_datasets else None,
)

# 开始训练
trainer.train()

# Step 6: 保存微调后的模型
model.save_pretrained("./finetuned_model")
tokenizer.save_pretrained("./finetuned_model")

print("模型微调完成并保存至 ./finetuned_model")

四、 人类反馈强化学习RLHF

人类反馈强化学习(RLHF, Reinforcement Learning from Human Feedback)

  • 目的:是使用人类反馈强化模型对话的质量和合规性,使其回答更自然、准确且符合伦理,也叫奖励模型训练或强化学习过程。
  • 方法:构建奖励模型并使用它来调整生成模型的输出。通常涉及三个步骤:人类生成数据反馈、奖励模型训练、PPO算法(策略优化)训练。
  • 工具:需要一定的标注人员提供人类反馈,OpenAI等方法中使用PPO(Proximal Policy Optimization)算法。

4.1、 人类生成数据反馈

  1. 采样生成数据:模拟真实的对话场景,让预训练模型根据预设任务和指令生成多条不同的回复。
  2. 构建评分体系:建立标准的评分准则,常见的评价维度包括:准确性、相关性、自然性、简介性,让人类标注员从多个维度来评价模型输出的质量,可以用分数(如1-5分)或“优劣”排序来标注。
  3. 优选与排序:要求标注员对多个模型输出进行排序,以选择最符合用户期望的回复。可以采用成对比较的方式,即给定两条回复,让标注员选择较好的一个。

示例 1:问答任务

输入:
“火星与地球相比有何不同?”

模型输出:
火星的重力比地球低、气温更低,且大气主要由二氧化碳组成。
火星是一个有红色表面的星球,但地球有生命和大量水。
火星比地球小,没有适合人类生存的大气。

人类反馈:
准确性:输出 1 得分 5/5,输出 2 得分 3/5,输出 3 得分 4/5。
相关性:输出 1 得分 5/5,输出 2 得分 2/5(提及地球和水,但无关主题),输出 3 得分 4/5。
排序:1 > 3 > 2

示例 2:情感分析任务

输入:
“我觉得这次旅行很糟糕,遇到的每件事都令人失望。”

模型输出:
情感:负面
情感:正面
情感:中性
人类反馈:

准确性:输出 1 得分 5/5(准确反映了消极情绪),输出 2 得分 1/5(与情感明显不符),输出 3 得分 2/5(偏离原意)。
排序:1 > 3 > 2

示例 3:产品推荐任务

输入:
“我在寻找一款轻便耐用的旅行背包,有推荐吗?”

模型输出:
建议选择30L的轻便背包,款式多样且适合短途旅行。
推荐X品牌的登山包,非常耐用且轻便。
旅行背包款式众多,推荐考虑容积和耐用性。
人类反馈:

准确性:输出 2 得分 5/5(具体推荐了品牌),输出 1 得分 4/5(描述具体,但无品牌推荐),输出 3 得分 3/5(没有实际推荐)。
排序:2 > 1 > 3

4.2、奖励模型训练

数据准备:奖励模型的数据一般有三个部分:输入、输出、评分的格式,例如如下数据:

# 示例数据格式
training_data = [
    {"input": "火星与地球相比有何不同?",
     "outputs": [
         {"response": "火星的重力比地球低...", "score": 5},
         {"response": "火星是一个有红色表面...", "score": 3},
         {"response": "火星比地球小,没有适合人类生存...", "score": 4}
     ]},
    {"input": "我觉得这次旅行很糟糕,遇到的每件事都令人失望。",
     "outputs": [
         {"response": "情感:负面", "score": 5},
         {"response": "情感:正面", "score": 1},
         {"response": "情感:中性", "score": 2}
     ]},
    # 更多样例...
]

构建奖励模型:奖励模型通常基于预训练语言模型(如GPT、BERT),并在其基础上添加一个奖励预测层。这个层的输出是模型对给定输入-输出对的评分预测。

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

# 使用预训练模型作为奖励模型基础
model_name = "bert-base-uncased"  # 可根据需求选择模型
model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=1)  # 设置单一输出(奖励分数)
tokenizer = AutoTokenizer.from_pretrained(model_name)

准备训练数据,生成奖励分数,将输入和模型输出对进行标记转换,以训练奖励模型预测分数。

def preprocess_data(training_data):
    inputs, scores = [], []
    for item in training_data:
        input_text = item["input"]
        for output in item["outputs"]:
            response = output["response"]
            score = output["score"]
            # 将输入和输出连接,作为奖励模型的输入
            combined_input = f"输入: {input_text} 输出: {response}"
            inputs.append(combined_input)
            scores.append(score)
    return inputs, scores

# 生成输入文本和奖励分数
inputs, scores = preprocess_data(training_data)
# 进行tokenization
tokenized_inputs = tokenizer(inputs, padding=True, truncation=True, return_tensors="pt")
labels = torch.tensor(scores).float()  # 奖励分数标签

训练奖励模型:通过监督学习训练奖励模型,使其预测的奖励分数与人类评分接近。损失函数可以采用均方误差(MSE),因为我们希望奖励模型的输出值与人类评分之间的误差最小

from torch.utils.data import DataLoader, TensorDataset
from transformers import AdamW

# 创建DataLoader
dataset = TensorDataset(tokenized_inputs["input_ids"], tokenized_inputs["attention_mask"], labels)
dataloader = DataLoader(dataset, batch_size=8, shuffle=True)

# 设置优化器
optimizer = AdamW(model.parameters(), lr=5e-5)

# 训练循环
model.train()
epochs = 3
for epoch in range(epochs):
    total_loss = 0
    for batch in dataloader:
        input_ids, attention_mask, label = batch
        outputs = model(input_ids=input_ids, attention_mask=attention_mask, labels=label)
        loss = outputs.loss
        total_loss += loss.item()
        
        # 反向传播和参数更新
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()
        
    print(f"Epoch {epoch + 1} - Loss: {total_loss / len(dataloader)}")

奖励模型训练完成后,将其应用到生成模型的强化学习环节。例如,通过强化学习算法(如PPO)更新生成模型,使其生成的输出逐渐朝着奖励模型给高分的方向优化。具体来说,生成模型每次生成输出后,奖励模型会评估输出质量,生成模型根据奖励反馈调整生成策略,从而生成更加符合人类偏好的内容

4.3、 PPO算法(策略优化)训练

代码步骤概述:

  1. 设置生成模型和奖励模型:加载生成模型(如GPT)和奖励模型(可以是微调过的BERT)。
  2. 实现PPO训练:为生成模型的输出提供奖励反馈。
  3. 更新生成模型:根据奖励值和策略更新生成模型。

设置生成模型和奖励模型

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, AutoModelForSequenceClassification

# 加载生成模型(例如,GPT-2)
gen_model_name = "gpt2"
gen_model = AutoModelForCausalLM.from_pretrained(gen_model_name)
gen_tokenizer = AutoTokenizer.from_pretrained(gen_model_name)

# 加载已经训练好的奖励模型(例如,BERT)
reward_model_name = "bert-base-uncased"  # 根据实际选择
reward_model = AutoModelForSequenceClassification.from_pretrained(reward_model_name)
reward_tokenizer = AutoTokenizer.from_pretrained(reward_model_name)

定义奖励函数
奖励函数用于评估生成模型的输出质量。将输入文本和生成的响应传递给奖励模型,得到分数并作为奖励信号返回。

def compute_reward(input_text, generated_text):
    # 将输入和输出拼接成奖励模型的输入格式
    combined_input = f"输入: {input_text} 输出: {generated_text}"
    
    # 对拼接输入进行tokenization
    inputs = reward_tokenizer(combined_input, return_tensors="pt", truncation=True, padding=True)
    
    # 通过奖励模型计算分数(输出的logits用于评分)
    with torch.no_grad():
        reward_score = reward_model(**inputs).logits.squeeze().item()
    
    return reward_score

训练循环 - PPO 更新
通过策略梯度方法逐步更新生成模型的参数,PPO的关键点:

  • 奖励计算:利用奖励模型给生成的文本打分,分数越高代表生成效果越好。
  • 优势计算:在PPO中,我们用奖励减去当前策略的log_probs均值,来估计策略的相对优势。
  • 策略更新:PPO主要通过限制更新步长来避免策略的剧烈变化,通常通过优势函数和log概率的乘积来调整生成模型的策略。
from transformers import AdamW
import numpy as np

# 超参数设置
ppo_epochs = 5
batch_size = 8
learning_rate = 5e-5

# 优化器
optimizer = AdamW(gen_model.parameters(), lr=learning_rate)

# PPO训练过程
gen_model.train()
for epoch in range(ppo_epochs):
    for batch in range(batch_size):
        # Step 1: 采样输入
        input_text = "火星与地球相比有何不同?"  # 示例输入,可以改成实际数据的batch
        input_ids = gen_tokenizer(input_text, return_tensors="pt").input_ids

        # Step 2: 生成输出
        generated_outputs = gen_model.generate(input_ids, max_length=50)
        generated_text = gen_tokenizer.decode(generated_outputs[0], skip_special_tokens=True)

        # Step 3: 计算奖励
        reward = compute_reward(input_text, generated_text)

        # Step 4: 计算PPO损失
        outputs = gen_model(input_ids=input_ids, labels=generated_outputs)
        logits = outputs.logits
        log_probs = torch.nn.functional.log_softmax(logits, dim=-1)

        # 计算优势函数(假设reward即优势)
        # 可以加入熵正则化项来鼓励探索
        advantages = reward - log_probs.mean().item()

        # 计算损失
        ppo_loss = -advantages * log_probs.mean()
        ppo_loss.backward()

        # 参数更新
        optimizer.step()
        optimizer.zero_grad()

    print(f"Epoch {epoch + 1}/{ppo_epochs} - PPO Loss: {ppo_loss.item()}")

这份代码是一个基本的实现,可以进一步在以下方面进行改进:

  • 批量化处理:为提高效率,使用批量数据进行生成和奖励计算。
  • 熵正则化:加入熵项,以鼓励探索、提升生成模型的多样性。
  • 优势函数:采用更加复杂的优势计算方法,如引入值函数基线,进一步提高PPO训练的稳定性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/911371.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

字节青训-小S的倒排索引

问题描述 小S正在帮助她的朋友们建立一个搜索引擎。为了让用户能够更快地找到他们感兴趣的帖子,小S决定使用倒排索引。倒排索引的工作原理是:每个单词都会关联一个帖子ID的列表,这些帖子包含该单词,且ID按从小到大的顺序排列。 例…

你需要了解的正则表达式相关知识

正则表达式(Regular Expression,简称 regex 或 regexp)是一种用于匹配字符串的模式。它广泛应用于文本查找、替换、验证等场景,尤其是在数据处理、网络爬虫、编程等领域非常有用。下面将详细介绍正则表达式的基本语法、常用元字符…

掌握分布式系统的38个核心概念

天天说分布式分布式,那么我们是否知道什么是分布式,分布式会遇到什么问题,有哪些理论支撑,有哪些经典的应对方案,业界是如何设计并保证分布式系统的高可用呢? 1. 架构设计 这一节将从一些经典的开源系统架…

【C++进阶】智能指针的使用和原理(2)

5. shared_ptr和weak_ptr 5.1 shared_ptr循环引用问题 shared_ptr大多数情况下管理资源⾮常合适,⽀持RAII,也⽀持拷贝。但是在循环引⽤的场景下会导致资源没得到释放内存泄漏,所以我们要认识循环引用的场景和资源没释放的原因,并…

【Uniapp】Uniapp Android原生插件开发指北

前言 在uniapp开发中当HBuilderX中提供的能力无法满足App功能需求,需要通过使用Andorid/iOS原生开发实现时,或者是第三方公司提供的是Android的库,这时候可使用App离线SDK开发原生插件来扩展原生能力。 插件类型有两种,Module模…

linux进程的状态之环境变量

我们在前面了解了进程的状态及相关概念 接下来我们接着上一篇进程的状态接着了解环境变量 进程的状态 文章目录 目录 文章目录 前言 二、环境变量 1、常见环境变量 2、查看环境变量 3、修改PATH 4、HOME 5、PATH ​编辑 6、和环境变量相关的命令 三、环境变量的组织…

揭秘集装箱箱号自动识别原理,箱号识别算法

集装箱箱号自动识别算法是一种高效且实用的软件工具。它利用相机、手机或其他摄像头捕获集装箱箱号图像,并通过深度学习的OCR(光学字符识别)识别技术对集装箱号码进行准确识别。要想进行集装箱箱号识别,需要以下几个基本步骤&…

AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。

2024-10-31,由清华大学和北京大学共同创建的AndroidLab数据集,为安卓自主代理的训练和评估提供了一个包含操作环境、行动空间和可复现基准的系统框架,这对于推动安卓代理技术的发展具有重要意义。 数据集地址:Android Instruct|A…

使用axois自定义基础路径,自动拼接前端服务器地址怎么办

请求路径: http://localhost:5173/http://pcapi-xiaotuxian-front-devtest.itheima.net/home/category/head 很明显多拼接了路径地址 查看基础路径文件发现: //axios基础封装 import axios from axiosconst httpInstance axios.create({baseURL: /h…

Densenet模型花卉图像分类

项目源码获取方式见文章末尾! 600多个深度学习项目资料,快来加入社群一起学习吧。 《------往期经典推荐------》 项目名称 1.【基于CNN-RNN的影像报告生成】 2.【卫星图像道路检测DeepLabV3Plus模型】 3.【GAN模型实现二次元头像生成】 4.【CNN模型实现…

【Mysql NDB Cluster 集群(CentOS 7)安装笔记一】

Mysql NDB Cluster 集群(CentOS 7)安装笔记 NDB集群核心概念 NDBCLUSTER(也称为NDB)是一个内存存储引擎,提供高可用性和数据保存功能。 NDBCLUSTER存储引擎可以配置一系列故障转移和负载平衡选项,但从集群级别的存储引擎开始是最容易的。NDB集群的NDB存储引擎包含一整套…

Pattern program MPAT 详解

本文为VIP文章,主要介绍Pattern中元素与格式、常用指令、地址&数据产生指令等。 目录 一、pattern概述 二:Pattern构成元素 1、pattern构成元素:MPAT、END 2、pattern构成元素:pattern file name 3、pattern构成元素:SDEF 4、Pattern构成元素:REGISETR 5、Pa…

【通义灵码】AI编码新时代

目录 一.初识灵码,开启新篇 安装 登录 二.灵码相伴,探索新境 实时续写 自然生成 单元测试生成 解释代码 优化建议 快捷键 三.智慧流转,高效开发 驱动移植 LVGL框架 项目总结 四.融合创新,携手同行 一.初识灵码&#…

RabbitMQ客户端应用开发实战

这一章节我们将快速完成RabbitMQ客户端基础功能的开发实战。 一、回顾RabbitMQ基础概念 这个RabbitMQ的核心组件,是进行应用开发的基础。 二、RabbitMQ基础编程模型 RabbitMQ提供了很多种主流编程语言的客户端支持。这里我们只分析Java语言的客户端。 上一章节提…

PySide6百炼成真(2)

文章目录 1.简单的登录页面2.简单的计算器 本篇根据前面所学做两个小demo 制作一个简单的登录页面制作一个计算器 因为还没有学习布局流等,所以就只能拖拉到设计师中. 1.简单的登录页面 下面就到计算器了,在图形界面中计算器就跟我们编程语言的hello,world一样,所以一定要自己…

群控系统服务端开发模式-应用开发-上传工厂开发

现在的文件、图片等上传基本都在使用oss存储。而现在常用的oss存储有阿里云、腾讯云、七牛云、华为云等,但是用的最多的还是前三种。而我主要封装的是本地存储、阿里云存储、腾讯云存储、七牛云存储。废话不多说,直接上传设计图及说明,就一目…

服务器被病毒入侵如何彻底清除?

当服务器遭遇病毒入侵时,彻底清除病毒是确保系统安全和数据完整性的关键步骤。这一过程不仅需要技术上的精准操作,还需要严密的计划、合理的资源调配以及后续的防范措施。以下是一篇关于如何在服务器被病毒入侵时彻底清除病毒的详细指南。 一、初步响应与…

修改 title标题图标

路径 \web\views\webclient_templates.xml \web\static\src\webclient\webclient.js 再升级web模块

docker安装zookeeper,以及zk可视化界面介绍

1. zookeeper 1.1. zookeeper简单介绍 ZooKeeper 是一个分布式的开源协调服务,最初由 Apache Hadoop 项目开发,用于构建分布式应用程序。它提供了一个简单的接口,允许开发人员实现诸如配置维护、域名服务、分布式同步、组服务等常见任务。Z…

Excel 无法打开文件

Excel 无法打开文件 ‘新建 Microsoft Excel 工作表.xlsx",因为 文件格式或文件扩展名无效。请确定文件未损坏,并且文件扩展名与文件的格式匹配。