大模型入门自学资源汇总,很难找到比这还全的大模型学习资源总结了!

接触各种AI工具到现在也快两年了,今年和同学陆续做了一些AI应用的科普宣讲,在这过程中收集了不少自学资源,特地挑出一部分整理成以下的内容。

书籍


大模型应用开发极简入门:基于GPT-4和ChatGPT

首推今年年初出版的《大模型应用开发极简入门:基于GPT-4和ChatGPT》,小红书上也有人叫它“章鱼书”(实际上是刺蛇尾Ophiothrix spiculata)。

https://www.oreilly.com.cn/index.php?func=book&isbn=978-7-115-63640-9

这本书应该是目前综合下来最好的大模型应用入门类书籍,从大模型的基础概念和发展史讲起:

  • 第 1 章 初识 GPT-4 和 ChatGPT

  • 1.1 LLM 概述

  • 1.1.1 探索语言模型和 NLP 的基础

  • 1.1.2 理解 Transformer 架构及其在 LLM 中的作用

  • 1.1.3 解密 GPT 模型的标记化和预测步骤

  • 1.2 GPT 模型简史:从 GPT-1 到 GPT-4

  • 1.2.1 GPT-1

  • 1.2.2 GPT-2

  • 1.2.3 GPT-3

  • 1.2.4 从 GPT-3 到 InstructGPT

  • 1.2.5 GPT-3.5、Codex 和 ChatGPT

  • 1.2.6 GPT-4

第一章就有案例帮助读者深入浅出地理解大模型的落地应用:

  • 1.3 LLM 用例和示例产品

  • 1.3.1 Be My Eyes

  • 1.3.2 摩根士丹利

  • 1.3.3 可汗学院

  • 1.3.4 多邻国

  • 1.3.5 Yabble

  • 1.3.6 Waymark

  • 1.3.7 Inworld AI

  • 1.4 警惕 AI 幻觉:限制与考虑

  • 1.5 使用插件和微调优化 GPT 模型

  • 1.6 小结

第二章直接开讲OpenAI的API调用:

  • 第 2 章 深入了解 GPT-4 和 ChatGPT 的 API

  • 2.1 基本概念

  • 2.2 OpenAI API 提供的可用模型

  • 2.3 在 OpenAI Playground 中使用 GPT 模型

  • 2.4 开始使用 OpenAI Python 库

  • 2.4.1 OpenAI 访问权限和 API 密钥

  • 2.4.2 Hello World 示例程序

  • 2.5 使用 GPT-4 和 ChatGPT

  • 2.5.1 ChatCompletion 端点的输入选项

  • 2.5.2 ChatCompletion 端点的输出格式

  • 2.5.3 从文本补全到函数

  • 2.6 使用其他文本补全模型

  • 2.6.1 Completion 端点的输入选项

  • 2.6.2 Completion 端点的输出格式

  • 2.7 考虑因素

  • 2.7.1 定价和标记限制

  • 2.7.2 安全和隐私

  • 2.8 其他 OpenAI API 和功能

  • 2.8.1 嵌入

  • 2.8.2 内容审核模型

  • 2.8.3 Whisper 和 DALL · E

  • 2.9 小结(含速查清单)

第三章就开始教你构建基于大模型的应用了,还有示例项目:

  • 第 3 章 使用 GPT-4 和 ChatGPT 构建应用程序

  • 3.1 应用程序开发概述

  • 3.1.1 管理 API 密钥

  • 3.1.2 数据安全和数据隐私

  • 3.2 软件架构设计原则

  • 3.3 LLM 驱动型应用程序的漏洞

  • 3.3.1 分析输入和输出

  • 3.3.2 无法避免提示词注入

  • 3.4 示例项目

  • 3.4.1 项目 1:构建新闻稿生成器

  • 3.4.2 项目 2:YouTube 视频摘要

  • 3.4.3 项目 3:打造《塞尔达传说:旷野之息》专家

  • 3.4.4 项目 4:语音控制

  • 3.5 小结

第四章包括了提示词和微调的技巧:

  • 第 4 章 GPT-4 和 ChatGPT 的高级技巧

  • 4.1 提示工程

  • 4.1.1 设计有效的提示词

  • 4.1.2 逐步思考

  • 4.1.3 实现少样本学习

  • 4.1.4 改善提示效果

  • 4.2 微调

  • 4.2.1 开始微调

  • 4.2.2 使用 OpenAI API 进行微调

  • 4.2.3 微调的应用

  • 4.2.4 生成和微调电子邮件营销活动的合成数据

  • 4.2.5 微调的成本

  • 4.3 小结

第五章讲LangChain和API插件:

  • 第 5 章 使用 LangChain 框架和插件增强 LLM 的功能

  • 5.1 LangChain 框架

  • 5.1.1 动态提示词

  • 5.1.2 智能体及工具

  • 5.1.3 记忆

  • 5.1.4 嵌入

  • 5.2 GPT-4 插件

  • 5.2.1 概述

  • 5.2.2 API

  • 5.2.3 插件清单

  • 5.2.4 OpenAPI 规范

  • 5.2.5 描述

  • 5.3 小结

  • 5.4 总结

如果只读一本书,那么这本就是目前最全最容易上手的教材。缺点就是这本书是译制书,有些用语读起来可能不如本土化教材那么顺畅。

GPT 图解 - 大模型是怎样构建的!

黄佳老师之前出版过好几本和数据分析与机器学习相关的书籍。这本《GPT 图解 - 大模型是怎样构建的!》花费了很大的篇幅用图解的方式对大模型的原理进行了揭秘,在GPT原理解释上比上面那本书还要来得深入,缺点是实战案例相对没那么多,而且售价将近80元。

当然,如果你有条件可以顺便把黄佳老师的另一本书《动手做AI Agent》也一并买了:

这两本书在Github上都有对应的示例和代码:

  • GitHub - huangjia2019/llm-gpt: 异步图书 《GPT图解 大模型是怎样构建的!》

  • GitHub - huangjia2019/ai-agents: 异步图书 《大模型应用开发 动手做AI Agent》

大规模语言模型:从理论到实践

如果之前提到的那本书你嫌贵,又想看正规、免费、系统的教材,网上也有。

这里先推荐复旦大学计算机科学技术学院团队出品的《大规模语言模型:从理论到实践》:

一共八章课件(PPT格式):

  • 第一章 绪论

  • 第二章 大语言模型基础

  • 第三章 大语言模型预训练数据

  • 第四章 分布式模型训练

  • 第五章 有监督微调

  • 第六章 强化学习

  • 第七章 大语言模型应用

  • 第八章 大语言模型评估

整本书在这里(pdf格式):https://intro-llm.github.io/chapter/LLM-TAP.pdf

Github


如果你不是编程小白,熟悉Github的话,大模型相关的优质资源就更多了。

Datawhale

首先找到这个Github账号:Datawhale

然后到Repo下面按Stars排序,那么你就得到了一片和机器学习、深度学习、大模型等知识构成的海洋:

和大语言模型相关且热度比较高的repo有这几个,你可以clone到本地慢慢啃:

  • https://github.com/datawhalechina/llm-cookbook

  • https://github.com/datawhalechina/self-llm

  • https://github.com/datawhalechina/llm-universe

  • https://github.com/datawhalechina/so-large-lm

动手学大模型Dive into LLMs系列

当然Github上的宝藏坑位也不止一个,还有Github用户Lordog和其他6个Contributor开源的教程:《动手学大模型Dive into LLMs》系列编程实践教程,本质是上海交大《人工智能安全技术》课程的拓展。

llm-action

还有一个比较推荐的是知乎答主吃果冻不吐果冻皮在Github上的llm-action项目:https://github.com/liguodongiot/llm-action

从目录上看这比前两个Github教程更全面和连贯,也更系统。如果你只打算找一个Github项目来全面了解大模型,那么选这个就没错了:

  • 🐌 LLM训练

  • 🐫 LLM训练实战

  • 🐼 LLM参数高效微调技术原理

  • 🐰 LLM参数高效微调技术实战

  • 🐘 LLM分布式训练并行技术

  • 🌋 分布式AI框架

  • 📡 分布式训练网络通信

  • 🌿 LLM训练优化技术

  • ⌛ LLM对齐技术

  • 🐎 LLM推理

  • 🚀 LLM推理框架

  • ✈️ LLM推理优化技术

  • ♻️ LLM压缩

  • 📐 LLM量化

  • 🔰 LLM剪枝

  • 💹 LLM知识蒸馏

  • ♑️ 低秩分解

  • 🌿 LLM测评

  • 🌴 LLM数据工程

  • 🐬 LLM微调高效数据筛选技术

  • 🌀 提示工程

  • ♍️ LLM算法架构

  • 🧩 LLM应用开发

  • 🀄️ LLM国产化适配

  • 🔯 AI编译器

  • 🔘 AI基础设施

  • 🍁 AI加速卡

  • AI集群网络通信

  • 💟 LLMOps

  • 🍄 LLM生态相关技术

  • 💫 LLM面试题

  • 🔨 服务器基础环境安装及常用工具

大厂网课


AI-For-Beginners

除了个人和学术团体在Github上贡献的资源,大厂在AI方面的免费课程也是不少。如果你英文水平过关,那么完全可以看微软出品的12周24节的AI普及课:AI-For-Beginners。

这个课程覆盖面更广,包括了计算机视觉、多智能体系统等等内容,没有点毅力和耐心恐怕是啃不下来。

我记得其他几家大厂比如Google和Meta也有类似的课程,自己找一找吧。

视频


DeepLearning.ai

这个不用多说了,吴恩达出品,必是精品。有条件上官网可以看一下短期课程(Short Courses),基本上1-2个小时一门:Courses。

这些课程的汉化版也可以在B站上找到,稍显讽刺的是官方账号的视频内容和数量都没有自来水们上传的多,找到播放量最高的那几个视频就对了,全长二十几个小时,挑着看吧……

Github上也有中文版的笔记整理:https://github.com/fengdu78/deeplearning_ai_books


暂时大概就这些了,反正我觉得不要贪多,挑一个看的进去耐心看完,没耐心就导出成PDF或者Markdown又或者音频,让类似通义效率工具这类AI工具过一遍,总会有些收获的。

在这里插入图片描述

如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/912749.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

为何选择Spring AI Alibaba开发智能客服平台?

0 前言 本文来看如何使用Spring AI Alibaba构建Agent应用。 1 需求 智能客服平台,可帮助用户完成机票预定、问题解答、机票改签、取消等动作,具体要求: 基于 AI 大模型与用户对话,理解用户自然语言表达的需求支持多轮连续对话…

Python学习从0到1 day27 第三阶段 Spark ② 数据计算Ⅰ

人总是会执着于失去的,而又不珍惜现在所拥有的 —— 24.11.9 一、map方法 PySpark的数据计算,都是基于RDD对象来进行的,采用依赖进行,RDD对象内置丰富的成员方法(算子) map算子 功能:map算子…

数据结构合并两个有序链表

数据结构 1.合并两个有序数组代码: 1.合并两个有序数组 这里我们可以创建一个新的对象作为合并后的新链表newHead,而NewHead.next就是我们要返回的头部的位置 在创建一个对象来获取nextHead.next下一个节点来作为我们新链表的起始位置防止我们的头部位置…

动态规划 —— dp 问题-买卖股票的最佳时机含手续费

1. 买卖股票的最佳时机含手续费 题目链接: 714. 买卖股票的最佳时机含手续费 - 力扣(LeetCode)https://leetcode.cn/problems/best-time-to-buy-and-sell-stock-with-transaction-fee/description/ 2. 算法原理 状态表示:以某一个…

利用pythonstudio写的PDF、图片批量水印生成器,可同时为不同读者生成多组水印

现在很多场合需要将PDF或图片加水印,本程序利用pythonstudio编写。 第一步 界面 其中: LstMask:列表框 PopupMenu:PmnMark LstFiles:列表框 PopupMenu:PmnFiles OdFiles:文件选择器 Filter:PDF文件(.PDF)|.PDF|图像文件(.JPG)|.JPG|图像文件(.png…

基于python深度学习技术矩阵分解的推荐系统,通过学习隐含特征,实现推荐

实现了一个基于矩阵分解的推荐系统,用于预测用户对电影的评分。具体来说,该程序通过TensorFlow构建和训练一个模型,来学习用户和电影之间的隐含特征,并根据这些特征预测评分。以下是代码的主要功能和步骤的详细描述: …

[vulnhub] DarkHole: 1

https://www.vulnhub.com/entry/darkhole-1,724/ 端口扫描主机发现 探测存活主机,184是靶机 nmap -sP 192.168.75.0/24 Starting Nmap 7.94SVN ( https://nmap.org ) at 2024-11-08 09:59 CST Nmap scan report for 192.168.75.1 Host is up (0.00027s latency). MA…

4.1 WINDOWS XP,ReactOS对象与对象目录----1

系列文章目录 文章目录 系列文章目录4.1 对象与对象目录OBJECT_HEADERObpLookupEntryDirectory()NtCreateTimer() 4.1 对象与对象目录 “对象(Object)”这个词现在大家都已耳熟能详了,但是对象到底是什么呢?广义地说,对象就是“目标”,行为…

STM32H503开发(2)----STM32CubeProgrammer烧录

STM32H503开发----2.STM32CubeProgrammer烧录 概述硬件准备视频教学样品申请源码下载参考程序自举模式BOOT0设置UART烧录USB烧录 概述 STM32CubeProgrammer (STM32CubeProg) 是一款用于编程STM32产品的全功能多操作系统软件工具。 它提供了一个易用高效的环境,通过…

“双十一”电商狂欢进行时,在AI的加持下看网易云信IM、RTC如何助力商家!

作为一年一度的消费盛会,2024年“双十一”购物狂欢节早已拉开帷幕。蹲守直播间、在主播热情介绍中点开链接并加购,也已成为大多数人打开“双11”的重要方式。然而,在这火热的购物氛围背后,主播频频“翻车”、优质主播稀缺、客服响…

debian系统安装qt的时候 显示xcb相关文件缺失

如果是安装之后的问题 我们可以选择使用ldd的命令查看当前依赖的so那些文件确实 ldd /home/yinsir/Qt/5.15.2/gcc_64/plugins/platforms/libqxcb.so 本人在进行打包的时候 出现则会个报错 ERROR: ldd outputLine: “libxcb-util.so.1 > not found” ERROR: for binary: “/…

A023-基于SpringBoot的冷链物流系统的设计与实现

🙊作者简介:在校研究生,拥有计算机专业的研究生开发团队,分享技术代码帮助学生学习,独立完成自己的网站项目。 代码可以查看文章末尾⬇️联系方式获取,记得注明来意哦~🌹 赠送计算机毕业设计600…

【数据分析】如何构建指标体系?

有哪些指标体系搭建模型?五个步骤教你从0开始搭建指标体系 一、企业指标体系搭建存在什么问题 许多企业在搭建数据指标体系时遇到了诸多难题,如问题定位不准确、数据采集不完整、目标不一致、报表无序、指标覆盖不全面以及报表价值未充分利用等。 1、…

C++20 概念与约束(1)—— SFINAE

1、从模板说起 众所周知,C在使用模板时,如果有多个模板匹配,则编译器会选择最匹配的一个模板进行实例化,这也正是模板特化和偏特化的依据。 根据上面这张图中的现象,列举下面几个示例: 1、不存在模板的情况…

基于Spring Boot的在线装修管理系统的设计与实现,LW+源码+讲解

摘 要 互联网发展至今,无论是其理论还是技术都已经成熟,而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播,搭配信息管理工具可以很好地为人们提供服务。针对信息管理混乱,出错率高,信息安全性差&#…

原生鸿蒙应用市场:赋能开发者全生命周期服务体验

文章目录 背景自动化检测前移:早发现,早解决技术细节:静态代码分析与兼容性测试应用场景 按需加载:优化性能,提升用户体验技术细节:模块化与懒加载实现应用场景 应用加密:保护应用代码安全&…

RDD 算子全面解析:从基础到进阶与面试要点

Spark 的介绍与搭建:从理论到实践_spark环境搭建-CSDN博客 Spark 的Standalone集群环境安装与测试-CSDN博客 PySpark 本地开发环境搭建与实践-CSDN博客 Spark 程序开发与提交:本地与集群模式全解析-CSDN博客 Spark on YARN:Spark集群模式…

配置多公钥在多平台使用Git

步骤很详细,直接上教程 当我们想在不同远程仓库平台配置不同公钥时会发现不进行额外配置是不行的,只会使用默认的公钥,本篇文章便是为了解决这个问题 进入C:\Users\[你的用户名]\.ssh文件夹 如果没有这个文件夹可以新建一下 在上述文件夹新建…

如何在 Android 上增加 SELinux 权限

SELinux(Security-Enhanced Linux)是一种强制访问控制(MAC)机制,它为 Android 系统提供了额外的安全层。通过 SELinux,系统管理员可以定义细粒度的安全策略,限制进程对文件、网络和其他资源的访…

新能源汽车与公共充电桩布局

近年来,全球范围内对新能源汽车产业的推动力度不断增强,中国新能源汽车市场也呈现蓬勃发展的势头,在政策与市场的共同推动下,新能源汽车销量持续增长。然而,据中国充电联盟数据显示,充电基础设施建设滞后于新能源汽车数量增长的现状导致充电桩供需不平衡,公共充电桩服务空白区域…