大模型学习与实践笔记（六）

一、finetune 简介

两种微调模式：增量预训练 与指令跟随

1.增量预训练

2.指令微调

二、LoRA 与 QLoRA 介绍

三、XTuner 介绍

四、低显存玩转LLM的方法

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/328035.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

ASP.NET Core 的 Web Api 实现限流 中间件

ASP.NET Core 的 Web Api 实现限流 中间件

Microsoft.AspNetCore.RateLimiting 中间件提供速率限制（限流）中间件。 它是.NET 7 以上版本才支持的中间件，刚看了一下，确实挺好用，下面给大家简单介绍一下： RateLimiterOptionsExtensions 类提供下列用…
阅读更多...
【jupyter添加虚拟环境内核（pytorch、tensorflow）- 实操可行】

【jupyter添加虚拟环境内核（pytorch、tensorflow）- 实操可行】

jupyter添加虚拟环境内核（pytorch、tensorflow）- 实操可行 1、查看当前状态(winR，cmd进入之后)2、激活虚拟环境并进入3、安装ipykernel5、完整步骤代码总结6、进入jupyter 添加pytorch、tensorflow内核操作相同，以下内容默认已经安…
阅读更多...
Python - 深夜数据结构与算法之 Sort

Python - 深夜数据结构与算法之 Sort

目录 一.引言 二.排序简介 1.排序类型 2.时间复杂度 3.初级排序 4.高级排序 A.快速排序 B.归并排序 C.堆排序 5.特殊排序 三.经典算法实战 1.Quick-Sort 2.Merge-Sort 3.Heap-Sort 4.Relative-Sort-Array [1122] 5.Valid-anagram [242] 6.Merge-Intervals […
阅读更多...
idea设置编辑器背景颜色

idea设置编辑器背景颜色

文章目录 一、Ided常用工具栏显示二、更改idea主题设置三、设置代码编辑器背景颜色为豆沙绿四、设置新项目 默认Jdk配置、maven配置1、settings for new projects2、structre for new projects 五、修改代码中注释的字体颜色六、设置编辑器字体大小七、文件编码的设置(可以设置…
阅读更多...
leetcode-344. 反转字符串、9. 回文数

leetcode-344. 反转字符串、9. 回文数

题目1： 解题方法 直接用reverse()即可 代码： class Solution(object):def reverseString(self, s):""":type s: List[str]:rtype: None Do not return anything, modify s in-place instead."""return s.reverse()如果不…
阅读更多...
翻译: Pyenv管理Python版本从入门到精通二

翻译: Pyenv管理Python版本从入门到精通二

Pyenv系列： 翻译: Pyenv管理Python版本从入门到精通一 1. 高级 Pyenv 用法 1.1 在 pyenv-virtualenv 中使用虚拟环境 可以使用 pyenv-virtualenv 扩展 Pyenv 来管理虚拟环境。这是隔离项目环境并有效管理其依赖项的好方法。以下是使用 pyenv-virtualenv 创建虚…
阅读更多...
C# 面向切面编程之AspectCore实践(二)

C# 面向切面编程之AspectCore实践(二)

写在前面 在上一篇中对AspectCore进行了初步的了解，用于拦截的属性加在了具体类的方法上。 C# 面向切面编程之AspectCore初探 这一篇验证一下把拦截属性加在接口上，这样实现该接口的类中所对应的方法都会被拦截到；另外示例中还尝试对方法的…
阅读更多...
如何从命令行运行testng.xml？

如何从命令行运行testng.xml？

目录 创建一个新的java项目并从命令行运行testng.xml 使用命令行运行XML文件 从命令行运行现有maven项目的XML文件 在这篇文章中，我们将使用命令行运行testng.xml。有多种场景需要使用命令行工具运行testng.xml。也许您已经创建了一个maven项目，现在想…
阅读更多...
【VTKExamples::PolyData】第三期 DecimatePolylineDeleteCell

【VTKExamples::PolyData】第三期 DecimatePolylineDeleteCell

很高兴在雪易的CSDN遇见你 VTK技术爱好者 QQ：870202403 前言 本文分享VTK样例 DecimatePolyline折线抽取和 DeleteCell样例，希望对各位小伙伴有所帮助！ 感谢各位小伙伴的点赞+关注，小易会继续努力分享，一起进步！ 你的点赞就是我的动力(＾Ｕ＾)ノ~ＹＯ 1. DecimatePo…
阅读更多...
YOLOv8改进 | 主干篇 | 低照度增强网络PE-YOLO改进主干（改进暗光条件下的物体检测模型）

YOLOv8改进 | 主干篇 | 低照度增强网络PE-YOLO改进主干（改进暗光条件下的物体检测模型）

一、本文介绍 本文给大家带来的改进机制是低照度图像增强网络PE-YOLO中的PENet，PENet通过拉普拉斯金字塔将图像分解成多个分辨率的组件，增强图像细节和低频信息。它包括一个细节处理模块（DPM），用于通过上下文分支和边缘分支增强图像细节，以及一个低频增强滤波器（LEF），…
阅读更多...
C语言经典算法之顺序查找算法

C语言经典算法之顺序查找算法

目录 前言 A.建议 B.简介 一 代码实现 二 算法时空复杂度 A.时间复杂度： B.空间复杂度： 三 优点和缺点 A.优点： B.缺点： 四 现实中的应用 前言 A.建议 1.学习算法最重要的是理解算法的每一步，而不是记住算…
阅读更多...
steam搬砖项目风险在哪里？这几点一定要记牢

steam搬砖项目风险在哪里？这几点一定要记牢

你可能已经听说过Steam搬砖项目，这是一个通过在Steam平台充值美元，购买道具，然后将这些道具转移到BUFF平台进行交易，从而获取利润的方式。这个项目的操作方法主要是利用一些渠道和经验技巧，购买低价道具，然…
阅读更多...
力扣每日一练（24-1-17）：轮转数组

力扣每日一练（24-1-17）：轮转数组

方法一：使用额外的数组 这个方法的思路是创建一个新的数组，然后将每个元素放到正确的位置上。新数组的第i个元素应该是原数组的第(i len(nums) - k) % len(nums)个元素。 def rotate(nums, k):n len(nums)rotated [0] * nfor i in range(n):rotated[(…
阅读更多...
用Axure RP 9制作元件教程

用Axure RP 9制作元件教程

制作 软件：Axure RP 9 图标：iconfont 制作流程 1.打开Axure RP 9 2.iconfont 搜索眼睛 图标 图标找好之后 我们可以开始了 3.制作 我们用文本框 如图片 第2步 我们选中这2个把他们变成动态面板 在动态面板增加一个状态 如图片 我们接下来…
阅读更多...
locust快速入门--使用分布式提高测试压力

locust快速入门--使用分布式提高测试压力

背景： 使用默认的locust启动命令进行压测时，尽管已经将用户数设置大比较大（400），但是压测的时候RPS一直在100左右。需要增加压测的压力。 问题原因： 如果你是通过命令行启动的或者参考之前文章的启动方式…
阅读更多...
Python - 深夜数据结构与算法之 DP 串讲

Python - 深夜数据结构与算法之 DP 串讲

目录 一.引言 二.DP 知识点回顾 1.递归 2.分治 3.动态规划 三.DP 经典题目回顾 1.Climb-Stairs [70] 2.Unique-Paths [62] 3.House-Robber [198] 4.Min-Path-Sum [64] 5.Best-Time-Sell-Stock [121] 6.Min-Cost-Climb [746] 7.Edit-Distance [72] 8.Longest-Sub-…
阅读更多...
AI大模型预先学习笔记一：transformer和fine tune技术介绍

AI大模型预先学习笔记一：transformer和fine tune技术介绍

一、商业观点：企业借助大模型获得业务增长可能 二、底层原理：transformer 1）备注 ①下面每个步骤都是自回归的过程（aotu-regressive）：已输出内容的每个字作为输入，一起生成下一个字 ②合起来就…
阅读更多...
决战排序之巅（二）

决战排序之巅（二）

决战排序之巅（二） 排序测试函数 void verify(int* arr, int n) 归并排序递归方案代码可行性测试 非递归方案代码可行性测试 特点分析 计数排序代码实现代码可行性测试 特点分析 归并排序 VS 计数排序（Release版本）说明1w rand( ) …
阅读更多...
23/76-LeNet

23/76-LeNet

LeNet 早期成功的神经网络。 先使用卷积层来学习图片空间信息。 然后使用全连接层转换到类别空间。 #In[]LeNet,上世纪80年代的产物,最初为了手写识别设计from d2l import torch as d2l import torch from torch import nn from torch.nn.modules.loss import CrossEntropyLos…
阅读更多...
Transformer详解（附代码实现及翻译任务实现）

Transformer详解（附代码实现及翻译任务实现）

一：了解背景和动机 阅读Transformer论文： 阅读原始的Transformer论文：“Attention is All You Need”，由Vaswani等人于2017年提出，是Transformer模型的开创性工作。 二：理解基本构建块 注意力机制&#…
阅读更多...
最新文章

Copyright @ 2022~2023