大白话！大模型(LLMs)私有化的三种方式：Prompts、Embeddings、Fine-tuning

私有化大模型的三种方式

随着我们使用大模型的深入呢，我们会发现这样一个现象，我们正常情况下问大模型的问题，会得到一个非常普适的回答，就是大模型会根据自己的训练的这个过往的一些知识的积累，然后告诉我们他认为最好的一个答案，但是如果我们问到一些非常具体的针对啊我们自己生活或工作的一些问题，比如说一个文档，或者说公司里边的一些情况的时候，这个时候呢，大模型的回答的这个就不会包括这部分知识。

那如何做这样的定制呢？我们今天就讲这个这个话题，通常来讲有三种办法，第一个办法呢，就是提示工程 prompt engineering，这是一种通过设计特定的输入提示来引导模型生成我们期望的输出的办法。第二种呢，叫做知识库的嵌入，叫Knowledge based embeddings，指的是结合模型与外部知识库，使模型在生成答案的时候呢，可以引用这些外部的知识。第三种呢，就是fine-Tuning，微调，这是在特定数据集上对预先训练的模型进行额外的训练，使其更适应特定任务或者领域。

这么讲起来呢，可能有点难理解，我们举一个例子来说明，假设一个大学生刚毕业了，他具有经过了这20多年的学习，他具有了不错的学术背景和理论的知识，然后他现在要去工作。但是在面临实际工作的时候呢，它必须要需要一些适应和调整，对吧？所以呢，提示工程prompt engineer相当于什么呢？相当于他的领导口头布置了一个任务，然后这个大学生呢，就基于自己的知识和经验，按照任务要求进行操作。第二种，就知识库嵌入，相当于什么呢？相当于这个学生遇到了一些问题啊，然后他的领导给一本操作手册、一本字典，然后让他在操作的时候，这个学生就可以去查阅啊，相当于引用了外部知识库来增强他的输出。

那第三种呢，fine-tuning像什么呢？就像是一个学生在刚开始工作的时候，他不是报到的第一天就去工作的，他是先经呃接受了两个月的上岗前的培训，可能有公司的这个企业的一些制度啊，企业的文化呀。工作流程啊，过往的一些操作指南啊等等，让它更适应具体的工作环境和要求。

所以这三种方式的优缺点是什么呢？我们很快的讲一下，第一种提示工程，prompt engineering来讲，它的最大的优点在于快速实现，直接针对特定的需求，然后这个学生就能够迅速的得到结果，但缺点就是有可能需要多次尝试才能得到最佳答案，需要多次进行尝试，这个方法也不适用所有的问题，特别是对复杂的任务而言，这种方法可能会失效，因为提供的一些背景知识就已经超出了大模型问答上下文长度限制。

第二知识库嵌入，它的优点是增加了模型的深度和广度，使其能够更处理更加复杂和特定的问题，就好像刚才讲，像这个学生有一个操作手册，他可以随时查阅。但这个缺点在于什么呢？在于啊，整合和维护知识库需要额外的时间和资源啊，这不是说它就一直在那里的，要进行对它进行向量化的一些操作，然后呢，需要确保啊，同时需要确保知识库的准确性和及时性，随时需要更新的。

最后一个微调，它的优点是针对特定任务啊，或者领域优化模型的性能，使其更加的专业和适应，就好像刚才讲上岗前的培训之后，这个学生就会更加胜任某一岗位，但是他的缺点呢，就是需要大量的标记数据啊，可能会导致一种叫做过拟合的情况发生，就好像这个学生，只针对一个小领域进行培训，可能就会失去了对没有培训过的其他领域的一个灵活性，可以理解为类似偏科。

所以做一个简单的总结，这个大学生可以接受领导的口头任务，也就是“提示工程”，他就去做了，第二种方式这个学生，可以拿到一个手册，然后在不会的时候去查阅手册，再去再去做，这叫做知识库的嵌入，第三个微调，就是他进行了一个上岗前的培训，一个月的培训，然后再来进行适应，比上岗前肯定能更适应工作，所以就是这样一个例子，帮助大家去进行一个理解。

什么是LLMOps？

对于企业来说，肯定是希望大模型不仅具备一定的通用能力，还希望更懂自身企业的业务场景、产品矩阵、甚至是将企业已有的各场景管理系统（ERP、Sap、OA、电商、仓储、物流、配送、客服、工单、IM等）进行打通、串联以完成更复杂的任务，更加降本增效。

那么就意味着，企业需要一个可以帮自己将大模型进行私有化部署的平台工具，这个平台工具可以结合企业生产经营场景，将企业内部多年沉淀的管理、生产、销售、运营、客服等等所有经验统统交由大模型进行学习、领悟、融汇贯通，并且再合适的场景和时机为员工和管理者以文字、语音、视频、动画等形式，提供可靠、准确的建议和指导，并且在必要的时候，可以替员工代劳有些机械、繁重、重复的操作。那么这个平台就是LLMOps！

但是企业基于大语言模型进行以上场景需求的应用开发，过程如下：

数据准备：手动收集和预处理数据，可能涉及到复杂的数据清洗和标注工作，需要编写较多代码。；
Prompt Engineering：通过调用大模型提供的API 或 Playground 进行；
数据准备与嵌入：编写代码实现长文本数据处理、嵌入；
应用日志与分析：编写代码记录日志，访问数据库查看；
数据分析与微调：处理微调数据准备和训练过程；
AI 插件开发与集成：编写代码创建、集成 AI 插件。

以下界面就是一个不错的LLMOps的演示系统截图：

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

-END-