大模型学习资料整理:如何从0到1学习大模型,搭建个人或企业RAG系统,如何评估与优化(更新中...)

通过本文您可以了解到:

  • 学习:从小白如何入手,从0到1开始学习大模型。
  • RAG系统:我想搭建属于自己或者企业的RAG系统,我该怎么去做?
  • 评估:微调后的模型或者RAG系统,如何评估自己的模型和系统?有哪些工具集、数据库、指标可以使用?
  • 优化:怎么去优化RAG系统?包括:prompt工程,LLM选择,embedding选择,数据清洗,如何分块,检索,二阶段检索等

文章目录

  • 如何学习
    • llm-action
    • llm-universe
    • self-llm
    • Awesome-AGI
  • 模型下载地址
    • Huggingface官网
    • Huggingface 镜像站
    • ModelScope
    • wisemodel
  • 开源模型
    • LLama
      • Chinese-LLaMA-Alpaca
      • Llama-Chinese
    • 国内大模型整理
      • Awesome-Chinese-LLM
  • Prompt工程
    • promptingguide
    • LearnPrompt
    • LangGPT
  • 优化
  • 评估
    • Awesome-LLM-Eval
  • 工具
    • langchain
    • streamlit
    • gradio

欢迎大家访问个人博客网址:https://www.maogeshuo.com,博主努力更新中…

如何学习

给了以下几个推荐网站,每个网站各有侧重点

llm-action

  • https://github.com/liguodongiot/llm-action

侧重于大模型的训练、推理、压缩等

llm-universe

  • https://github.com/datawhalechina/llm-universe

大模型应用开发,如何搭建知识库、构建RAG应用等

self-llm

  • https://github.com/datawhalechina/self-llm

各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导

在这里插入图片描述

Awesome-AGI

  • https://github.com/ArronAI007/Awesome-AGI

模型下载地址

国内访问Huggingface官网下载模型和数据集,容易被墙。
可以使用Huggingface镜像站、ModelScope、wisemodel,若无法访问Huggingface官网,推荐Huggingface镜像站,理由是里面收集的模型和数据集比较全

Huggingface官网

  • https://huggingface.co/

Huggingface 镜像站

  • https://hf-mirror.com/

ModelScope

  • https://modelscope.cn/my/overview

wisemodel

  • https://wisemodel.cn/home

开源模型

LLama

Chinese-LLaMA-Alpaca

  • github地址

Llama-Chinese

  • Llama-Chinese

国内大模型整理

在这里插入图片描述

Awesome-Chinese-LLM

  • Awesome-Chinese-LLM

介绍了如何训练、微调、部署llama

Prompt工程

提示工程是一个较新的学科,应用于开发和优化提示词(Prompt),帮助用户有效地将语言模型用于各种应用场景和研究领域。

promptingguide

  • 官网地址
    在这里插入图片描述

LearnPrompt

  • 官网地址
    在这里插入图片描述

LangGPT

飞书地址
在这里插入图片描述

优化

评估

Awesome-LLM-Eval

  • https://github.com/onejune2018/Awesome-LLM-Eval/blob/main/README_CN.md

总结了几乎所有的测试工具、数据集合、model、论文等,以评估工具为例:

  • OpenCompass
  • evals

补充:

  • 评估工具:LangSmith https://docs.smith.langchain.com/

工具

langchain

  • langchain中文网

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它使得应用程序能够:

  • 具有上下文感知能力:将语言模型连接到上下文来源(提示指令,少量的示例,需要回应的内容等)
  • 具有推理能力:依赖语言模型进行推理(根据提供的上下文如何回答,采取什么行动等)

streamlit

  • streamlit

快速构建和部署应用程序

gradio


由于作者水平有限,因此不能保证文中内容准确无误,如有错误,请在下方留言,欢迎指出,谢谢!

大家有更好的学习资料,或者训练、应用落地,优化、评估等经验,欢迎大家在评论区留言,大家一起共勉和进步~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/679413.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

软件质量保障——三、四

三、黑盒测试 1.黑盒测试概述 1.1 如何理解黑盒测试? 1.2 黑盒测试有什么特点? 1.3 如何实施黑盒测试? 2. 黑盒测试用例设计和生成方法(这里还是要自己找题做) 2.1 等价类划分法 步骤: 1.选择划分准…

设置电脑定时关机

1.使用快捷键winR 打开运行界面 2.输入cmd ,点击确认,打开命令行窗口,输入 shutdown -s -t 100,回车执行命令,自动关机设置成功 shutdown: 这是主命令,用于执行关闭或重启操作。-s: 这个参数用于指定执行关…

flask音乐交流平台-计算机毕业设计源码57105

摘要 科技进步的飞速发展引起人们日常生活的巨大变化,电子信息技术的飞速发展使得电子信息技术的各个领域的应用水平得到普及和应用。信息时代的到来已成为不可阻挡的时尚潮流,人类发展的历史正进入一个新时代。在现实运用中,应用软件的工作规…

kafka-生产者监听器(SpringBoot整合Kafka)

文章目录 1、生产者监听器1.1、创建生产者监听器1.2、发送消息测试1.3、使用Java代码创建主题分区副本1.4、application.yml配置----v1版1.5、屏蔽 kafka debug 日志 logback.xml1.6、引入spring-kafka依赖1.7、控制台日志 1、生产者监听器 1.1、创建生产者监听器 package co…

鸿蒙开发接口安全:【@ohos.abilityAccessCtrl (访问控制管理)】

访问控制管理 说明: 本模块首批接口从API version 8开始支持。后续版本的新增接口,采用上角标单独标记接口的起始版本。 导入模块 import abilityAccessCtrl from ohos.abilityAccessCtrlabilityAccessCtrl.createAtManager createAtManager(): AtMan…

用户管理的小demo --登录:

目录 1、建库、建表 1.1 连接数据库后,在idea中 通过快捷方式 自动导入实体类 1.2 实体类代码 2、idea中的准备工作 2.1 在父工程下 新建子工程 2.2 在子工程下 添加webapp、pom.xml设置为 war的打包方式 2.3 在父工程下的pom.xml中 添加依赖 2.3.1 mysql的…

基于STC12C5A60S2系列1T 8051单片机实现一主单片机与一从单片机相互发送数据的RS485通信功能

基于STC12C5A60S2系列1T 8051单片机实现一主单片机与一从单片机相互发送数据的RS485通信功能的RS485通信功能 STC12C5A60S2系列1T 8051单片机管脚图STC12C5A60S2系列1T 8051单片机串口通信介绍STC12C5A60S2系列1T 8051单片机串口通信的结构基于STC12C5A60S2系列1T 8051单片机串…

力扣hot100学习记录(十一)

24. 两两交换链表中的节点 给你一个链表,两两交换其中相邻的节点,并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题(即,只能进行节点交换)。 题意 两两交换链表中的相邻节点 思路 先创建一个…

机器学习知识点总结

简介:随着人工智能(AI)蓬勃发展,也有越来越多的人涌入到这一行业。下面简单介绍一下机器学习的各大领域,机器学习包含深度学习以及强化学习,在本节的机器学习中主要阐述一下机器学习的线性回归逻辑回归&…

嘉之音:十年磨一剑 敢为天下先

一个产品创新 一个行业成长 一段人生价值 不断积累、沉淀、创新,终将实现其价值。 前十年,嘉之音经历了传统建材行业的变迁;声学聚酯自2010年初诞生,现在正在从第一个十年萌芽期进入高速成长黄金期。近年来,市场的不…

A6370超速保护监控器

A6370监控器是AMS 6300 SIS超速保护系统的一部分,并且 与A6371一起安装在19英寸机架中(84HP宽,3RU高) 系统底板。一个AMS 6300 SIS由三个保护监视器(A6370)组成 和一个背板(A6371)。 该系统设计用于涡流传感器、霍尔元件传感器和 磁性(VR)传感器。 传感器…

鸿蒙Ability Kit(程序框架服务)【UIExtensionAbility】

UIExtensionAbility 概述 [UIExtensionAbility]是UI类型的ExtensionAbility组件,需要与[UIExtensionComponent]一起配合使用,开发者可以在UIAbility的页面中通过UIExtensionComponent嵌入提供方应用的UIExtensionAbility提供的UI。UIExtensionAbility会…

strcpy、strncpy、strcat、strncat、strcmp、strstr字符串函数的使用和模拟

strcpy的使用和模拟&#xff08;作用&#xff09; 将一个字符串的内容复制到另外一个字符串中代替掉。 strcpy的使用效果 #include <stdio.h> #include <string.h>int main () {char str1[]"Sample string";char str2[40];char str3[40];strcpy (str2…

【学习笔记】Windows GDI绘图(十一)Graphics详解(下)

文章目录 Graphics的方法Graphics.FromImageSetClip设置裁切区域IntersectClip更新为相交裁切区域TranslateClip平移裁切区域IsVisible判断点或矩形是否在裁切区域内MeasureCharacterRanges测量字符区域MeasureString测量文本大小MultiplyTransform矩阵变换 Graphics的方法 Gr…

大模型时代的具身智能系列专题(九)

NYU Lerrel Pinto团队 Lerrel Pinto是NYU Courant的计算机科学助理教授&#xff0c;也是用机器人和人工智能实验室(CILVR小组)的一员。在加州大学伯克利分校读博士后&#xff0c;在CMU机器人研究所读博士&#xff0c;在印度理工学院古瓦哈蒂读本科。研究目标是让机器人在我们生…

JDBC学习笔记(二)进阶篇

一、JDBC 扩展 1.1 实体类和ROM 实体类代码&#xff1a; package com.atguigu.advanced.pojo;//类名就是数据库表的 t_ 后面的单词全写 public class Employee {private Integer empId;//emp_idprivate String empName;//emp_nameprivate Double empSalary;//emp_salarypriva…

二叉树遍历 和 线索二叉树

文章目录 1.1 二叉树遍历1.1 前提问题1&#xff1a; 什么叫二叉树的遍历&#xff1f;二叉树的三种遍历&#xff1a;三个概念&#xff1a;遍历 和 访问 和 经过重要概念&#xff1a;遍历过程中的经过节点&#xff0c;不代表访问节点 问题2&#xff1a;遍历和访问的联系&#xff…

利用conda进行R的安装

1.miniconda3的安装 官网&#xff1a;Miniconda — Conda documentation 找到对应系统、Python版本下载 wget https://mirrors.ustc.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh #wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x…

Python项目代码太多if-else? 这样优化才优雅!

前言 代码中不可避免地会出现复杂的if-else条件逻辑,而简化这些条件表达式是一种提高代码可读性极为实用的技巧。 在 Python 中,有多种方法可以避免复杂的 if-else 条件逻辑,使代码更加清晰和易于维护。 筑基期 提前 return,去掉多余的 else 在 Python 中,使用"提…

C++基础编程100题-003 OpenJudge-1.1-05 输出保留12位小数的浮点数

更多资源请关注纽扣编程微信公众号 http://noi.openjudge.cn/ch0101/05/ 描述 读入一个双精度浮点数&#xff0c;保留12位小数&#xff0c;输出这个浮点数。 输入 只有一行&#xff0c;一个双精度浮点数。 输出 也只有一行&#xff0c;保留12位小数的浮点数。 样例输入…