【从零开始】11. LLaMA-Factory 微调 Qwen 模型（番外篇）

书接上回，在完成了 RAGChecker 测试后，离 RAG 应用真正发布还差最后一步 - 基础信息指令微调。考虑到模型还是需要具备一定程度的“自我认知”，因此需要将公司信息“嵌入”到模型里面的。为此，我选择了 LLaMA-Factory（以下简称“lf”）去完成这个事儿。

之所以选 lf 还是因为它简单，好使…

LLaMA-Factory 部署

本次 lf 微调我们将采用源码方式部署。

首先从 github 将代码 checkout 下来，如下图：

(base) pai@pai:~/llm/nlp$ git clone https://github.com/hiyouga/LLaMA-Factory.git

为什么要使用源码方式部署？后面会讲解原因。

创建虚拟环境并安装依赖

(base) pai@pai:~/llm/nlp$ cd LLaMA-Factory
(base) pai@pai:~/llm/nlp/LLaMA-Factory$ conda create -n lf  python=3.11
Channels:
 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
 - defaults
Platform: linux-64
Collecting package metadata (repodata.json): done
Solving environment: done
## Package Plan ##

  environment location: /home/pai/anaconda3/envs/lf

  added / updated specs:
    - python=3.11
  ...

使用 conda 创建运行环境后切换到源码目录通过pip install -r requirements.txt命令安装依赖，如下图：

(base) pai@pai:~/llm/nlp/LLaMA-Factory$ conda activate lf
(lf) pai@pai:~/llm/nlp/LLaMA-Factory$ pip install -r requirements.txt 
...

组件安装

根据官网的提示，if 是可以选择组件进行安装的，基础版本可以只选 torch 和 metrics 安装即可。但是装都装了，不差那么点事儿，索性全部能装的都装上吧。如下图：

(lf) pai@pai:~/llm/nlp/LLaMA-Factory$ pip install -e ".[torch,metrics,deepspeed,liger-kernel,bitsandbytes,hqq,gptq,awq,aqlm,vllm,galore,badam,adam-mini,qwen,modelscope,quality]"
...

安装过程中可能会出现一堆像“无法连接”、“依赖缺失”等情况，这时只需离线安装即可（之前文章已经提到过如何离线安装，这里就不再详述了）。

启动 webui 页面

完成组件安装后就可以尝试启动 webui 界面了，一般来说第一次启动会伴随着报错，如下图：

(lf) pai@pai:~/llm/nlp/LLaMA-Factory$ CUDA_VISIBLE_DEVICES=0 python src/webui.py
[2024-11-01 04:01:01,361] [INFO] [real_accelerator.py:203:get_accelerator] Setting ds_accelerator to cuda (auto detect)
df: /home/pai/.triton/autotune: No such file or directory
 [WARNING]  async_io requires the dev libaio .so object and headers but these were not found.
 [WARNING]  async_io: please install the libaio-dev package with apt
 [WARNING]  If libaio is already installed (perhaps from source), try setting the CFLAGS and LDFLAGS environment variables to where it can be found.
 [WARNING]  Please specify the CUTLASS repo directory as environment variable $CUTLASS_PATH
 [WARNING]  sparse_attn requires a torch version >= 1.5 and < 2.0 but detected 2.4
 [WARNING]  using untested triton version (3.0.0), only 1.0.0 is known to be compatible
/home/pai/anaconda3/envs/lf/lib/python3.11/site-packages/deepspeed/runtime/zero/linear.py:47: FutureWarning: `torch.cuda.amp.custom_fwd(args...)` is deprecated. Please use `torch.amp.custom_fwd(args..., device_type='cuda')` instead.
  @autocast_custom_fwd
/home/pai/anaconda3/envs/lf/lib/python3.11/site-packages/deepspeed/runtime/zero/linear.py:66: FutureWarning: `torch.cuda.amp.custom_bwd(args...)` is deprecated. Please use `torch.amp.custom_bwd(args..., device_type='cuda')` instead.
  @autocast_custom_bwd
/home/pai/anaconda3/envs/lf/lib/python3.11/site-packages/vllm/connections.py:8: RuntimeWarning: Failed to read commit hash:
No module named 'vllm._version'
  from vllm.version import __version__ as VLLM_VERSION
Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

以上报错是因为找不到“vllm._version”模块导致的，这时需要更新一下 vllm 依赖，如下图：

(lf) pai@pai:~/llm/nlp/LLaMA-Factory$ pip install --upgrade vllm
Looking in indexes: https://mirrors.aliyun.com/pypi/simple
Requirement already satisfied: vllm in /home/pai/anaconda3/envs/lf/lib/python3.11/site-packages (0.6.3)
Collecting vllm
  Downloading https://mirrors.aliyun.com/pypi/packages/4a/4c/ee65ba33467a4c0de350ce29fbae39b9d0e7fcd887cc756fa993654d1228/vllm-0.6.3.post1-cp38-abi3-manylinux1_x86_64.whl (194.8 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 194.8/194.8 MB 1.4 MB/s eta 0:00:00
...

一般将依赖更新到最新版后就能解决问题。再尝试启动 webui。

喔！抛出了另一个异常信息，如下图：

(lf) pai@pai:~/llm/nlp/LLaMA-Factory$ llamafactory-cli webui
[2024-11-01 05:46:26,356] [INFO] [real_accelerator.py:203:get_accelerator] Setting ds_accelerator to cuda (auto detect)
 [WARNING]  async_io requires the dev libaio .so object and headers but these were not found.
 [WARNING]  async_io: please install the libaio-dev package with apt
 [WARNING]  If libaio is already installed (perhaps from source), try setting the CFLAGS and LDFLAGS environment variables to where it can be found.
 [WARNING]  Please specify the CUTLASS repo directory as environment variable $CUTLASS_PATH
 [WARNING]  sparse_attn requires a torch version >= 1.5 and < 2.0 but detected 2.4
 [WARNING]  using untested triton version (3.0.0), only 1.0.0 is known to be compatible
/home/pai/anaconda3/envs/lf/lib/python3.11/site-packages/deepspeed/runtime/zero/linear.py:47: FutureWarning: `torch.cuda.amp.custom_fwd(args...)` is deprecated. Please use `torch.amp.custom_fwd(args..., device_type='cuda')` instead.
  @autocast_custom_fwd
/home/pai/anaconda3/envs/lf/lib/python3.11/site-packages/deepspeed/runtime/zero/linear.py:66: FutureWarning: `torch.cuda.amp.custom_bwd(args...)` is deprecated. Please use `torch.amp.custom_bwd(args..., device_type='cuda')` instead.
  @autocast_custom_bwd
Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

这次看到的是 deepspeed 警告，那么同理更新一下 deepspeed 吧。

(lf) pai@pai:~/llm/nlp/LLaMA-Factory$ pip install --upgrade deepspeed
...

更新后再启动就看不到其他异常信息抛出了。如下图：

(lf) pai@pai:~/llm/nlp/LLaMA-Factory$ llamafactory-cli webui
[2024-11-01 06:46:43,215] [INFO] [real_accelerator.py:219:get_accelerator] Setting ds_accelerator to cuda (auto detect)
Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

上传自定义数据

验证完 lf 正常启动后，在正式指令微调前，我们还需要上传自己的数据。

首先，我们需要创建自己的数据集并保存成 json 文件。我这里创建的是 alpaca 格式的数据集，具体格式如下：

[
  {
    "instruction": "<<这里是问题>>",
    "input": "",
    "output": "<<这里是答案>>"
  },
  ...
]

在完成了数据集的整理之后将数据集上传到项目的 data 文件夹中，如下图：

接着修改 data 文件夹下的 dataset_info.json 文件，如下图：

{
    "enterprise":{
      "file_name": "enterprise_tuning.json",
      "columns": {
        "prompt": "instruction",
        "query": "input",
        "response": "output",
        "history": "history"
      }
  },
  ...
}

这里的配置主要是对 columns 进行映射并将数据集作为系统级别命名为“enterprise”。

指令微调

微调数据集准备完毕，接下来需要做一下微调配置。首先，在examples/train_lora/路径下创建一个 Lora 微调配置文件qwen2_5_lora_sft.yaml，如下图：

### model
model_name_or_path: /home/pai/.cache/huggingface/hub/models--Qwen--Qwen2.5-7B-Instruct/snapshots/bb46c15ee4bb56c5b63245ef50fd7637234d6f75

### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all

### dataset
dataset: identity,enterprise
template: qwen
cutoff_len: 2048
max_samples: 4000
overwrite_cache: true
preprocessing_num_workers: 16

### output
output_dir: /home/pai/llm/nlp/LLaMA-Factory/saves/Qwen2.5-7B/lora
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 8
gradient_accumulation_steps: 2
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000

### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500

这里感谢 CSDN@路人与大师 提供的配置信息（文章里面详细地解释了每个参数的意思，受益良多，感谢分享），原文地址：llama factory lora 微调 qwen2.5 7B Instruct模型_qwen2.5 lora微调-CSDN博客

第一次的微调配置就以上面文章中提供的配置信息进行了部分调整而来的。接着执行

(lf) pai@pai:~/llm/nlp/LLaMA-Factory$ llamafactory-cli train examples/train_lora/qwen2_5_lora_sft.yaml

开始执行。

微调报错处理

在开始执行不久，也就是在读取数据集的时候就抛出了以下错误，如下图：

Converting format of dataset (num_proc=16):   0%|                                                                                                                                                                                             | 0/3601 [00:00<?, ? examples/s]
multiprocess.pool.RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/home/pai/anaconda3/envs/lf/lib/python3.11/site-packages/multiprocess/pool.py", line 125, in worker
    result = (True, func(*args, **kwds))
                    ^^^^^^^^^^^^^^^^^^^
  File "/home/pai/anaconda3/envs/lf/lib/python3.11/site-packages/datasets/utils/py_utils.py", line 678, in _write_generator_to_queue
    for i, result in enumerate(func(**kwargs)):
  File "/home/pai/anaconda3/envs/lf/lib/python3.11/site-packages/datasets/arrow_dataset.py", line 3528, in _map_single
    example = apply_function_on_filtered_inputs(example, i, offset=offset)
              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/home/pai/anaconda3/envs/lf/lib/python3.11/site-packages/datasets/arrow_dataset.py", line 3427, in apply_function_on_filtered_inputs
    processed_inputs = function(*fn_args, *additional_args, **fn_kwargs)
                       ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/home/pai/llm/nlp/LLaMA-Factory/src/llamafactory/data/aligner.py", line 84, in convert_alpaca
    if dataset_attr.history and isinstance(example[dataset_attr.history], list):
                                           ~~~~~~~^^^^^^^^^^^^^^^^^^^^^^
  File "/home/pai/anaconda3/envs/lf/lib/python3.11/site-packages/datasets/formatting/formatting.py", line 277, in __getitem__
    value = self.data[key]
            ~~~~~~~~~^^^^^
KeyError: 'history'

经验证，这个错误除了源码部署时出现外，在 docker 环境下也会出现（不知道是不是配置有误，按理说 docker 环境下不会出现这种情况）。在网上找了一圈，最终在 github 中找到的解决方案：

数据集history 缺省值 · Issue #2490 · hiyouga/LLaMA-Factory

这里需要对源码进行修改，如下图：

BTW，在修改代码后需要删除项目中对应的 pyc 文件，再之后直接通过python src/train.py来启动。如下图：

(lf) pai@pai:~/llm/nlp/LLaMA-Factory$ CUDA_VISIBLE_DEVICES=0 python src/train.py examples/train_lora/qwen2_5_lora_sft.yaml

在开始微调后你或许还会遇到AttributeError: 'AdamW' object has no attribute 'train'报错。这时可以尝试将 transformers 进行降级处理。

AttributeError: ‘AdamW’ object has no attribute ‘train’ · Issue #33620 · huggingface/transformers

按照大神的说法将 transformers 降级到 4.44.2 版本即可，亲测有效。

第一次微调

好了，现在让我们进行第一次微调吧，生成结果如下：

***** train metrics *****
  epoch                    =        3.0
  total_flos               = 60516616GF
  train_loss               =     0.4413
  train_runtime            = 0:17:44.80
  train_samples_per_second =      9.506
  train_steps_per_second   =      0.594
...
***** eval metrics *****
  epoch                   =        3.0
  eval_loss               =      0.368
  eval_runtime            = 0:00:18.79
  eval_samples_per_second =     19.955
  eval_steps_per_second   =     19.955

嗯…这样的结果只能说是中规中矩，毕竟验证损失比训练损失小，说明模型没有过拟合，但还是有继续优化的空间。

第二次微调

鉴于第一次微调的结果，我调整了一下配置文件的参数：

### output
save_steps: 200

### train
gradient_accumulation_steps: 4
learning_rate: 3.0e-5
num_train_epochs: 4.0
warmup_ratio: 0.03

### eval
eval_steps: 200
  1. learning_rate = 1e-4 可能偏大，先尝试降到 3.0e-5 试试；
  2. 使用更温和的 warmup_ratio = 0.03；
  3. 第一次 num_train_epochs = 3.0，增加到 4 轮；
  4. 同时调整 eval_steps 和 save_steps 为 200 以更密切监控训练过程；
  5. 尝试将 gradient_accumulation_steps 调整为 2；

最终得到这样的结果：

***** train metrics *****
  epoch                    =      3.981
  total_flos               = 80078311GF
  train_loss               =       0.68
  train_runtime            = 0:23:35.31
  train_samples_per_second =      9.536
  train_steps_per_second   =      0.297
...
***** eval metrics *****
  epoch                   =      3.981
  eval_loss               =     0.4965
  eval_runtime            = 0:00:19.50
  eval_samples_per_second =     19.227
  eval_steps_per_second   =     19.227

额…第二次的损失值反而上升了，这可能表明模型产生了一定程度的过拟合或学习率设置不够合适。

第三次微调

根据第二次微调的结果，我又做了以下的调整：

### train
gradient_accumulation_steps: 2
learning_rate: 7.0e-5
num_train_epochs: 2.0
warmup_ratio: 0.1
weight_decay: 0.1

### lora
lora_rank: 8
lora_alpha: 32
lora_dropout: 0.1
  1. 增加了 weight_decay 参数来增加正则化；
  2. 取消了 ddp_timeout 参数；
  3. gradient_accumulation_steps 改回 2 ，因为 4 可能过大；
  4. 将 warmup_ratio 调回 0.1；
  5. 尝试减少训练轮次到 2 轮，因为当前可能训练过度；
  6. 第二次微调的学习率可能过小，导致模型收敛较慢，这里调整到 7.0e-5；

最终得到这样的结果：

***** train metrics *****
  epoch                    =        2.0
  total_flos               = 40136469GF
  train_loss               =     0.5282
  train_runtime            = 0:12:54.95
  train_samples_per_second =      8.708
  train_steps_per_second   =      0.545
...
***** eval metrics *****
  epoch                   =        2.0
  eval_loss               =     0.3871
  eval_runtime            = 0:00:18.87
  eval_samples_per_second =     19.872
  eval_steps_per_second   =     19.872

Yo～，从结果看来这样的配置调整是有效的，相较于第二次微调有了明显的改善。并且 train_loss 和 eval_loss 的差距合理，没有明显过拟合。

第四次微调

好，现在明确了方向。接下来就向着这个方向走就可以了。

### dataset
max_samples: 5000

### output
save_steps: 100

### train
learning_rate: 8.0e-5
num_train_epochs: 2.5
warmup_ratio: 0.15

### lora
lora_rank: 16
lora_alpha: 64

### eval
val_size: 0.15
eval_steps: 100
  1. 继续提高学习率到 8.0e-5；
  2. 适当地增加训练轮次；
  3. 增加预热比例到 0.15；
  4. 增加 LoRA 秩到 16，alpha 值到 64；
  5. eval_steps 和 save_steps 降低到 100；

最终得到这样的结果：

***** train metrics *****
  epoch                    =     2.4962
  total_flos               = 47735668GF
  train_loss               =     0.4542
  train_runtime            = 0:16:31.14
  train_samples_per_second =      8.036
  train_steps_per_second   =      0.502
...
***** eval metrics *****
  epoch                   =     2.4962
  eval_loss               =     0.3504
  eval_runtime            = 0:00:28.31
  eval_samples_per_second =     19.884
  eval_steps_per_second   =     19.884

eval_loss 持续下降到了0.3504，这是目前最好的结果。train_loss 和 eval_loss 的差距合理（约0.1），说明没有过拟合。

结论

从第四次之后其实已经找到了微调的方向，后面又陆续开展了其他参数的微调工作，这一共做了十一次。分析结果如下：

第一次：train_loss=0.4413, eval_loss=0.368   (差距0.0733)
第二次：train_loss=0.68,   eval_loss=0.4965  (差距0.1835) ❌ 最差
第三次：train_loss=0.5282, eval_loss=0.3871  (差距0.1411)
第四次：train_loss=0.4542, eval_loss=0.3504  (差距0.1038)
第五次：train_loss=0.4184, eval_loss=0.3423  (差距0.0761) ✓ eval_loss最佳
第六次：train_loss=0.4413, eval_loss=0.3624  (差距0.0789)
第七次：train_loss=0.3834, eval_loss=0.3602  (差距0.0232) ✓ train_loss最佳
第八次：train_loss=0.4377, eval_loss=0.356   (差距0.0817)
第九次：train_loss=0.4069, eval_loss=0.357   (差距0.0499)
第十次：train_loss=0.4219, eval_loss=0.3553  (差距0.0666)
第十一次：train_loss=0.4393, eval_loss=0.3582 (差距0.0811)

根据观察 loss 的情况可知，train_loss 基本保持在 0.38-0.44 之间，而 eval_loss 则保持在 0.35-0.36 之间，并且最近 5 次的结果都相当稳定。其中，最佳的 train_loss 发生在第七次为 0.3834，而最佳的 eval_loss 发生在第五次为 0.3423，两者之间最小差距发生在第七次为 0.0232。

从收敛趋势来看，从第七次以后，性能提升已经相当小了，最近几次的调整没有带来明显改善且 loss 值在一个相对稳定的区间内波动。

因此我感觉已经没有继续优化的必要了，就拿回第七次的配置就可以了。

哦，在完成微调之后其实并没有结束微调工作，还有更大一部分内容在于对模型输出的验证，这个各位可以根据自己实际的业务需要进行人工校验。

至此，LLaMA-Factory 微调正式结束。
（未完待续…）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/947081.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

PowerShell 信息，请参阅 https......_Execution_Policies

PowerShell 信息，请参阅 https......_Execution_Policies

文章目录 1. 问题分析2. 检查当前执行策略3. 解决方案&#xff1a;更改执行策略4. 若问题依然存在5. 注意事项 信息&#xff0c;请参阅 https:/go.microsoft.com/fwlink/?LinkID135170 中的 about _Execution_Policies。 所在位置 行:1 字符: 3. D:\Users\Documents\WindowsPo…
阅读更多...
二、github基础

二、github基础

Github基础 备用github.com网站一、用户界面-Overview&#xff08;概览&#xff09;1用户信息2 导航栏3 热门仓库4 贡献设置5贡献活动6搜索和筛选7自定义收藏8贡献统计9最近活动10其他链接 二、用户界面-Repositories&#xff08;仓库&#xff09;1 libusb_stm322 savedata3 Fi…
阅读更多...
C语言----指针

C语言----指针

目录 1.概念 2.格式 3.指针操作符 4.初始化 1. 将普通变量的地址赋值给指针变量 a. 将数组的首地址赋值给指针变量 b. 将指针变量里面保存的地址赋值给另一个指针变量 5.指针运算 5.1算术运算 5.2 关系运算 指针的大小 总结&#xff1a; 段错误 指针修饰 1. con…
阅读更多...
青少年编程与数学 02-006 前端开发框架VUE 01课题、VUE简介

青少年编程与数学 02-006 前端开发框架VUE 01课题、VUE简介

青少年编程与数学 02-006 前端开发框架VUE 01课题、VUE简介 一、前端开发一、前端框架二、Vue.js三、应用场景四、区别五、学习资源六、应用示例说明&#xff1a; 课题摘要:本文介绍了前端开发框架Vue.js的基本概念和特性。Vue.js是一个渐进式JavaScript框架&#xff0c;用于构…
阅读更多...
STM32单片机芯片与内部57 SPI 数据手册 寄存器

STM32单片机芯片与内部57 SPI 数据手册 寄存器

目录 一、SPI寄存器 1、SPI控制寄存器 1(SPI_CR1)(I2S模式下不使用) 2、SPI控制寄存器 2(SPI_CR2) 3、SPI 状态寄存器(SPI_SR) 4、SPI 数据寄存器(SPI_DR) 5、SPI CRC多项式寄存器(SPI_CRCPR)(I2S模式下不使用&#xff09; 6、SPI Rx CRC寄存器(SPI_RXCRCR)(I2S模式下不…
阅读更多...
QT-------------自定义插件和库

QT-------------自定义插件和库

以下是一个使用 Qt 实现图表交互操作的示例&#xff0c;涵盖了自定义图表视图类、不同类型的柱状图和饼图等内容。 实现思路 自定义图表视图类&#xff1a;创建一个从 QChartView 派生的自定义类&#xff0c;用于处理图表的交互操作。主窗口设计初始化&#xff1a;在主窗口中…
阅读更多...
【Python】闭包

【Python】闭包

闭包&#xff08;Closure&#xff09;是指一个函数记住了并可以访问它的词法作用域&#xff08;lexical scope&#xff09;&#xff0c;即使这个函数在词法作用域之外执行。 闭包其实就是延伸了作用域的函数&#xff0c;包括被延伸函数主体中引用的非全局变量和局部变量。这些…
阅读更多...
矩阵运算提速——玩转opencv::Mat

矩阵运算提速——玩转opencv::Mat

介绍:用Eigen或opencv::Mat进行矩阵的运算&#xff0c;比用cpp的vector或vector进行矩阵运算要快吗? 使用 Eigen 或 OpenCV 的 cv::Mat 进行矩阵运算通常比使用 std::vector<int> 或 std::vector<double> 更快。这主要有以下几个原因&#xff1a; 优化的底层实现…
阅读更多...
FastDeploy部署paddlecls分类模型（windows）

FastDeploy部署paddlecls分类模型（windows）

目录 写在前面 总体步骤 C SDK编译库 方式1&#xff1a;编译安装 方式2&#xff1a;下载预编译库 准备模型、文件、代码和数据 模型文件类型 samples代码 待预测图像 使用 FastDeploy C SDK 将cpp源码编译为exe 编写cpp代码 cpp代码编译exe 运行可执行程序exe 将…
阅读更多...
【第二部分--Python之基础】03 容器类型的数据

【第二部分--Python之基础】03 容器类型的数据

Python内置的数据类型如序列&#xff08;列表、元组等&#xff09;、集合和字典等可以容纳多项数据&#xff0c;我们称它们为容器类型的数据。 序列 序列&#xff08;sequence&#xff09;是一种可迭代的、元素有序的容器类型的数据。 序列包括列表&#xff08;list&#xff…
阅读更多...
linux shell脚本 【分支结构case...in 、循环结构、函数】内附练习

linux shell脚本 【分支结构case...in 、循环结构、函数】内附练习

1.思维导图 2.练习 1.定义一个find函数&#xff0c;查找ubuntu和root的gid 2.定义一个数组&#xff0c;写一个函数完成对数组的冒泡排序 bubble() {n${#arr[*]}for((i0;i<n-1;i));dofor((j0;j<n-1-i;j));doif ((arr[j]>arr[j1]));thentemp${arr[j]}arr[j]${arr[j1]}a…
阅读更多...
基于SpringBoot和OAuth2，实现通过Github授权登录应用

基于SpringBoot和OAuth2，实现通过Github授权登录应用

基于SpringBoot和OAuth2&#xff0c;实现通过Github授权登录应用 文章目录 基于SpringBoot和OAuth2&#xff0c;实现通过Github授权登录应用0. 引言1. 创建Github应用2. 创建SpringBoot测试项目2.1 初始化项目2.2 设置配置文件信息2.3 创建Controller层2.4 创建Html页面 3. 启动…
阅读更多...
从单点 Redis 到 1 主 2 从 3 哨兵的架构演进之路

从单点 Redis 到 1 主 2 从 3 哨兵的架构演进之路

一、前言 我们有个项目中用的 MySQL、Redis、ES、微服务都是单节点部署的&#xff0c;没有做集群模式部署&#xff0c;为了提高整体的可用性&#xff0c;对项目的部署架构进行了升级&#xff0c;支持高可用。 二、部署拓扑图 我们项目的测试环境 12 台服务器已经部署好了&am…
阅读更多...
SQL 中的 EXISTS

SQL 中的 EXISTS

我们先从 SQL 中最基础的 WHERE 子句开始。 比如下面这条 SQL 语句&#xff1a; 很显然&#xff0c;在执行这条 SQL 语句的时候&#xff0c;DBMS 会扫描 Student 表中的每一条记录&#xff0c;然后把符合 Sdept IS 这个条件的所有记录筛选出来&#xff0c;并放到结果集里面去…
阅读更多...
大型概念模型：在句子表示空间中的语言建模

大型概念模型：在句子表示空间中的语言建模

《Large Concept Models: Language Modeling in a Sentence Representation Space》这篇论文介绍了一种新的语言模型方法&#xff0c;它在句子表示空间中进行建模。该方法旨在改进传统语言模型的局限性&#xff0c;通过捕捉更高级别的语义信息来提高自然语言处理任务的表现。 模…
阅读更多...
活动预告 | Microsoft Power Platform 在线技术公开课：实现业务流程自动化

活动预告 | Microsoft Power Platform 在线技术公开课：实现业务流程自动化

课程介绍 参加“Microsoft Power Platform 在线技术公开课&#xff1a;实现业务流程自动化”活动&#xff0c;了解如何更高效地开展业务。参加我们举办的本次免费培训活动&#xff0c;了解如何借助 Microsoft AI Builder 和 Power Automate 优化工作流。结合使用这些工具可以帮…
阅读更多...
YK人工智能（三）——万字长文学会torch深度学习

YK人工智能（三）——万字长文学会torch深度学习

2.1 张量 本节主要内容&#xff1a; 张量的简介PyTorch如何创建张量PyTorch中张量的操作PyTorch中张量的广播机制 2.1.1 简介 几何代数中定义的张量是基于向量和矩阵的推广&#xff0c;比如我们可以将标量视为零阶张量&#xff0c;矢量可以视为一阶张量&#xff0c;矩阵就是…
阅读更多...
企业二要素如何用C#实现

企业二要素如何用C#实现

一、什么是企业二要素&#xff1f; 企业二要素&#xff0c;通过输入统一社会信用代码、企业名称或统一社会信用代码、法人名称&#xff0c;验证两者是否匹配一致。 二、企业二要素适用哪些场景&#xff1f; 例如&#xff1a;信用与金融领域 1.信用评级&#xff1a;信用评级…
阅读更多...
Visual Studio 2022安装教程

Visual Studio 2022安装教程

1、下载网址 Visual Studio 2022 IDE安装网址借助 Visual Studio 设计&#xff0c;具有自动完成、构建、调试、测试功能的代码将与 Git 管理和云部署融为一体。https://visualstudio.microsoft.com/zh-hans/vs/ 点击图片所示 双击运行 2、安装 点击C桌面开发&#xff08;右边…
阅读更多...
TVS二极管选型【EMC】

TVS二极管选型【EMC】

TVS器件并联在电路中&#xff0c;当电路正常工作时&#xff0c;他处于截止状态&#xff08;高阻态&#xff09;&#xff0c;不影响线路正常工作&#xff0c;当线路处于异常过压并达到其击穿电压时&#xff0c;他迅速由高阻态变为低阻态&#xff0c;给瞬间电流提供一个低阻抗导通…
阅读更多...
最新文章

Copyright @ 2022~2023