在20世纪末和21世纪初,⼈类经历了两次信息⾰命的浪潮:
第⼀次是互联网时代的兴起,将世界各地连接在⼀起,改变了⼈们获取信息和交流的⽅式。
第⼆次则是移动互联网时代的到来,智能⼿机和移动应⽤程序的普及使⼈们可以随时随地与他⼈交流、获取信息和进⾏商务活动。
然⽽,随着技术的不断演进和⼈类社会的不断发展,我们正站在另⼀个信息时代的⻔槛上。
这是一个更加智能化、更加联系紧密的时代,它将重新定义我们与世界互动的方式,塑造我们的生活、工作和社会关系。
01
如何入门大语言模型?
初学者→进阶者之路
体验先进模型:使用最新模型以理解当前技术能力
能用最先进的,那么一定就要去用最先进的模型。
在当前市场上,存在众多国内外的大语言模型,从技术角度来看,国内模型与国外模型在智能程度和功能上均有⼀定差距,至少相距在一到两代左右。
所以当你使用国外最先进的模型时,你能感受到大概智能程度有多高,它能完成哪些事,否则用一些比较差的,比如只用GPT3.5,你就会陷入误区,认为好多事情它都无法完成,但事实并非如此。
基础互动:通过文本对话框形式开始互动
刚开始使用时,以文本对话框的形式来进行练习,最典型的就是要开始用ChatGPT,问他问题,然后他会基于你的问题来回答,进行简单的交互。
工具结合:学习如何结合外部工具提升模型解决问题的能力
目前市面上最先进的大语言模型,他们支持一些外部⼯具,通过外部工具可以提升模型解决问题的能力。比如大语言模型像人类⼀样,没有办法获取实时的信息。
人类之所以能了解到一个新闻,是因为人类能借助一些工具,例如软件去获取最新的信息。
同理,如果将大语言模型看作一个人,他也可以去使用外部的⼯具。
因此,赋予大语言模型使用外部⼯具的能力将极大地扩大模型解决问题的范围,提升模型解决问题的效果。
提问技巧:学习如何提出有效问题以获得更佳答案
当你熟悉到这个层面之后,你基本上就已经了解了大语言模型的总体轮廓。
接下来你需要去思考如何更好的提问,甚⾄可以尝试去调用大语言模型的API接口以设计更复杂的智能系统。
如何更好的提问题涉及到提示工程这个领域,下图展示了如何更好的提问:
需要明确的是,ChatGPT只是基于大语言模型的API接口开发的⼀个产品而已,它是一个简单的人机多轮对话系统。
除了人机多轮对话系统外,我们还可以尝试设计其他的产品或是智能系统,例如Agent系统就是当下最火的一类智能系统。
什么是Agent系统?
我们可以用认知心理学大师丹尼尔·卡尼曼的著作《思考,快与慢》中的内容做⼀个有趣的类比。
在这本书中,作者将人类大脑的思考系统划分为系统1和系统2两种模式,系统1是一种迅速而直觉的思考模式,系统2是一种缓慢而深思熟虑的思考模式。
大语言模型的思考模式也能做类似的划分:
1、大语言模型依据用户的输入直接生成响应,属于系统1。
2、通过在大语言模型之上设计繁杂的自主Agent系统,使其能够进行更为复杂的思考与推理,属于系统2。
自主Agent系统就是基于大语言模型基础上设计的系统2,它具备帮助我们完成更为复杂任务的潜力,成为人类真正意义上的助手。
譬如以下是著名的自主Agent系统AutoGPT项目的架构图:
02
对于企业而言
如何应用大语言模型降本增效?
· 如何选择大语言模型?
需要从两个方面考虑。
首先,企业需要明确使用模型的目的,是为了降本增效,还是将模型作为对外使用的工具或业务流程的一部分。
对于不同的需求,企业可能需要选择不同的模型。
比如对于小公司来说,早期可能会选择闭源解决方案,如直接调用百度、阿里或Open AI的接口,因为这种方案的开发成本非常低。
但这种方案的缺点是边际成本不变,每增加一个用户或请求,成本都会略有增加。在互联网行业,许多商业模式依赖于用户量,因此当用户量增加后,企业可能需要选择开源方案或自行部署和调整,甚至是训练模型。
这也是为什么一些大型互联网公司需要推出自己的大语言模型,因为依赖他人的大语言模型,不仅有较大的数据泄漏风险,还存在着不可控的运营成本。
· 企业中大语言模型的实际应用
有时候增效在某种程度上就等同于降本,目前可以确定的是,大语言模型在编程和内容创作领域取得了显著成效。
在编程领域,大语言模型可以极大地提高程序员的编程效率,有时还能帮助程序员分析已有代码。
以往程序员的入门门槛很高,程序设计工作的效率也较低,因为程序员需要记住大量知识,并且在编写程序时需要查阅资料和文档。
现在有了大语言模型,程序员可以快速定位知识,解决编程问题,显著提高了工作效率。对于中低端编程问题,大语言模型基本上能很好地解决。目前一个会使用大语言模型的程序员的工作效率可以提高两到三倍。
在内容创作领域,大语言模型对软内容创作有显著提升作用。
例如,在写作过程中,作者可以利用大语言模型进行润色和续写。在自媒体创作中,大语言模型可以帮助快速生成内容。
即使是较硬的内容,如论文写作,大语言模型也能起到一定的提升作用,尤其是在语言润色和语法纠正方面。
除了程序员和营销文案等特定领域外,其他领域的应用还需要进一步探索。
例如,智能客服是一个常见的应用场景,原本的⼤语⾔模型处于⽆状态,我们仅需为⼤语⾔模型引⼊⼀定程度的记忆,并引⼊外部知识库(⽐如通过 RAG 框架达成),我们就能轻松地将⼤语⾔模型改造成⼀个智能客服机器⼈。
与传统的智能客服有别,基于大语言模型的智能客服更为智能,能够处理的问题也更为广泛。
· 值得留意的潜在风险、挑战
大语言模型在公司内部使用还存在一些问题,例如智能程度不足或成本问题,导致其未能很好地适应企业的数据和业务流程。
大语言模型具有⼀定的通用性,但这种通用性并不一定适合所有企业。
例如大部分企业常常有专属于自己的私有数据,如何让大语言模型基于企业自己独有的知识库回答问题是非常重要的应用场景。
然而遗憾的是,目前许多企业的知识库并不如想象中的结构化,数据可能以图片、PDF或PPT的形式存在,这给大语言模型的应用带来了挑战。
03
正确看待、合理预期
大语言模型的实践应用
2022年11⽉30⽇,OpenAI发布了ChatGPT⸺一个基于生成式预训练 Transformer (Generative Pre-trained Transformer,GPT)技术的语⾔模型,随后GPT-4、Alpaca、Bard、 ChatGLM、LLaMA、Claude、Gemini等⼤语⾔模型相继问世,为消费者提供更丰富的体验,进⽽改变我们与科技互动的⽅式。
产品一旦多样,随即而来的就是人们对于大语言模型的一系列认知误区,主要分为两个极端:
1、认为大语言模型无所不能,但实际上,它并非如此。
大语言模型运行在计算机上,本质上是⼀个程序(图灵机),有其计算边界,不能处理所有问题。它目前主要能解决日常生活中70%到80%的简单逻辑推理和常用的知识查询。
因此,用户需要了解其边界和极限,对它的能力有⼀个合理期待,不能期望它处理所有问题,比如帮你预测彩票等。
2、大语言模型没什么用。
认为它只是一个机器学习模型,只能处理训练集中出现的内容。
实际上,大语言模型具有一定的举一反三能力以及逻辑推理能力。
虽然目前的大语言模型智能程度可能只有60分,但只要学会运用一定的技巧(例如提示工程),就能将它提升到70分,如果还能基于它设计一些Agent系统,甚至能提升到80分。
由此可见,未来在使用大语言模型时,并非是简单的你问它答模式,可能需要在其之上构建一个系统,以此来增强其智能程度以及解决问题的能力。
04
AI时代
职场人需要具备的敏锐与素养
我们或许正处在人类历史上的第四次工业革命的起始阶段。
这⼀次,不再是机械化、电⽓化带来的变革,而是智能化、自动化的革命,将重塑人类社会的方方面面。
然⽽,这种变革也带来了焦虑。
大语言模型的广泛应用将极大地改变各行各业,特别是泛内容产业的规则、生态和格局,包括但不限于编程与软件开发、自媒体与内容创作、娱乐内容制作和传播、游戏开发和运营以及教育内容制作和传播等。
这些领域将⾯临前所未有的挑战和机遇,需要不断调整和创新,以适应智能时代的到来。
例如ChatGPT的更高级版本免费发布,可能会改变搜索引擎的商业模式。因此,企业家需要关注AI的能力边界,并在必要时及时转型,全面拥抱AI技术。虽然AI不太可能完全消灭一个行业,但可能会降低行业门槛,对竞争对手产生促进作用。因此企业家应全面拥抱AI,以应对潜在的挑战。
对于个人来说,情况也是如此。比如产品经理能够借助AI迅速地编写代码,插画师可以利用AI来辅助自己进行创作。AI的发展或许会取代⼀些低端的工作,但中⾼端人才依旧是不可或缺的。
因此,职场人士也应该积极地拥抱 AI,不断提升自身的技能,从而更好地适应持续变化的工作环境。
大语言模型的发展趋势难以估量,技术的发展速度很可能超出人们的预想。但可以肯定的是,一个新的时代——智能时代即将到来。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
123?spm=1001.2014.3001.5501)这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】