云端AI大模型群体智慧后台架构思考

1 大模型的调研

1.1 主流的大模型

openai-chatgpt
阿里巴巴-通义千问
一个专门响应人类指令的大模型。我是效率助手，也是点子生成机，我服务于人类，致力于让生活更美好。
百度-文心一言（千帆大模型）
文心一言"是基于百度的深度学习平台飞桨和文心知识增强大模型开发的。它通过持续地从海量数据和大规模知识中进行融合学习，具备知识增强、检索增强和对话增强等技术特色。
字节跳动-云雀大模型
在给出提示词的情况下依然不太聪明
字节跳动-扣子
扣子为你提供了一站式 AI 开发平台无需编程,你的创新理念都能迅速化身为下一代的 AI 应用开始使用

优点：测试过之后，在给出人设和回复逻辑之后，coze可以相对准确的将人类的模糊指令拆解为机器人对应的执行步骤。而且对大模型本身的对话功能也有很好的表现。
缺点：还没有对应的API开放，暂时还在测试中。我已经填写问卷看看能不能申请到内侧的API。

1.2 提示词工程

提示词工程，或称Prompt Engineering，是一种专门针对语言模型进行优化的方法。其核心思想在于通过设计和调整输入的提示词（prompt），来引导这些模型生成更准确、更有针对性的输出文本。在与大型预训练语言模型如GPT-3、BERT等交互时，给定的提示词会极大地影响模型的响应内容和质量。
提示词工程关注于如何创建最有效的提示词，以便让模型能够理解和满足用户的需求。这可能涉及到对不同场景的理解、使用正确的词汇和语法结构，以及尝试不同的提示策略以观察哪种效果最佳。提示词可以简单如一个问题，复杂如一段描述性文本，包含了一系列精心选择的关键词或指令，旨在帮助模型更好地理解请求的任务或目标。
提示词工程具有广泛的应用场景，如信息检索、自然语言生成、智能键盘和聊天机器人、写作辅助工具等。在信息检索领域，提示词工程可以帮助用户更有效地查询信息，提高检索结果的准确性和相关性。在自然语言生成领域，通过为模型提供适当的提示词，可以控制生成文本的风格、内容和结构，从而满足不同场景下的需求。在智能键盘和聊天机器人等交互式应用中，提示词工程可以用于提供用户输入建议，帮助用户更快速地输入和表达他们的意图。在写作辅助工具中，提示词工程则可用于提供写作建议和指导，提高写作质量和效率。
随着大规模语言模型的发展，提示词工程已经成为一个重要的领域。
提示词工程是一种强大的工具，用于引导大型语言模型产生高质量的文本输出，允许用户更好地利用这些模型的能力，并为各种应用程序提供了广泛的可能性。

1.3 监督学习

监督学习（Supervised Learning）是机器学习中的一种重要方法，它主要是利用一组已知输入和输出数据（称为训练数据或样本）来训练模型，使得模型能够对新的未知输入进行预测或分类。在监督学习过程中，模型会尝试找到输入和输出之间的映射关系或规律，并通过不断调整模型参数来优化这种关系，以最小化预测值与实际值之间的误差。

监督学习的主要步骤如下：

数据准备：准备一组带有标签（即已知输出）的训练数据。这些数据通常是由人工标注或实际观测得到的。
模型选择：根据问题的性质选择合适的模型结构，如线性回归、决策树、支持向量机、神经网络等。
模型训练：使用训练数据来训练模型。这通常涉及到最小化一个损失函数（loss function），该函数衡量了模型预测值与真实值之间的差异。通过迭代优化算法（如梯度下降）来调整模型的参数，使得损失函数达到最小。
模型评估：使用独立的验证数据集来评估模型的性能。常见的评估指标包括准确率、精度、召回率、F1分数等。
模型应用：一旦模型训练完成并经过评估，就可以将其应用于新的未知输入数据，以进行预测或分类。

监督学习在许多领域都有广泛应用，如图像识别、语音识别、自然语言处理、金融预测等。它的优点在于可以利用已知标签的数据来指导模型的训练，从而得到较为准确的预测结果。然而，它也有其局限性，比如需要大量的标注数据，标注过程可能耗时且昂贵，以及模型可能受到训练数据中噪声和偏差的影响等。

1.3 大模型调参

大模型调参是指通过输入数据集对训练模型进行优化，以达到提升模型效果的方法。这一过程涉及预训练和微调两大阶段。
在预训练阶段，核心目标是找到最优的数据配比与最优的架构设计，从而得到最有效的参数数值。这通常是通过向模型喂入大量的无标注数据进行无监督训练来实现的，使模型涌现出更好的基础能力，以在不同任务上都获得较好效果。
而在模型微调阶段，则是在预训练模型参数的基础上，通过提供少量高质量、有标注的数据进行有监督训练。微调的核心在于确定调整哪些参数以及如何调整，以使得模型在特定领域呈现出更加优异的表现。
在大模型时代，调参成为提升模型性能的关键步骤。通过不断调整和优化参数，可以使模型更好地抓取文本重点、理解文本、输出文本，从而提高模型在目标任务上的性能。无论是在自然语言处理、计算机视觉还是推荐系统等领域，大模型参数高效微调技术都发挥着重要作用。

2 解决方案

2.1 大模型调用

先给出一套关于大模型调用的基础方案，后续在实际需求和指导中优化。

2.1.1 技术架构

客户端服务
- ai-robot：机器人受到模糊指令，向云端大模型请求拆解指令。
- web-test：可视化的测试界面，可以直观得测试大模型微调结果。
应用服务
- ai-chat-backend：web协议解析，用于接受和处理来自ai-rebot和web-test的请求数据。
- ai-chat-server：包含所有的内部服务，如：关键词提取，敏感词识别，上下文保存，数据持久化等。
基础服务
- keywords：根据给定的词库识别文本中的关键词。
- sensitive：根据给定的词库识别文本中的铭感词。
- openai-proxy：这里标红了，默认我们会使用国内的大模型；但是如果要使用openai，我们需要一台海外服务器来做反向代理。
- tokenizer：用于计算每次请求的tokens数量，我感觉这个可能需要向用户提供收费套餐。
- mock-open-ai：用于模拟大模型的返回，减少开发时的测试成本。
数据服务
- mysql：持久化存储，包括但不限于用户信息，机器人ID，token使用数量等。
- vectordb：这里需要一个词向量数据库来进行相似度匹配；这个可以自己搭建或者直接使用云厂商提供的。
. 支撑服务
- doker：doker容器化部署，方便在公网服务器部署。
- docker swarm：官网的跨界点容器编排工具，只要在单一节点上操作就可以所以集群下所有节点和容器。
- registry：没一台机器人应该有自己的ID
- redis：内存数据库，可以存储一些使用频率较高的指令，方便快速解析。
- prometheus：线上节点监控，保证各服务正常工作。