大模型应用编排工具Dify之常用编排组件

1.前言

dify的核心能力有：支持接入常见的 LLM、工作流编排、知识库和聊天助手等，架构图如下：

在这里插入图片描述

本文将结合实际项目落地经验，针对工作流编排中的常用编排组件进行介绍，以及如何在后端调用工作流编排。

2.落地案例

某 DevOps智能助手，可以通过自然语言对话回答常见运维问题和自动查询模型关联的跑数任务状态，工作流编排如下：

在这里插入图片描述

上图中，省略了开始组件，直接从意图识别开始。

在意图识别这里需要借助 LLM的能力识别用户想问什么，在这里最主要的是问模型管理的跑数任务状态，其次询问运维问题和通用业务问题。其中运维问题和业务问题都需要项目地提供对应的知识库作为支撑，否则大模型只会回答通用的内容，作用不大。

重点说一下问跑数任务分支：首先，从用户问题提取模型名称、日期批次和平台类型作为参数；其次，需要对模型名称进行校验，通过后继续；然后，根据平台类型调用需要的接口；最后，把查询结果作为提示词的一部分给 LLM，拿到答复后进行格式化输出。

3.编排组件

这里对工作流编排中常用的：LLM、问题分类器、知识检索和代码执行等组件进行介绍。

3.1 LLM

调用大语言模型回答问题或者对自然语言进行处理，需要设置模型、选择上下文、系统提示词和用户提示词等。

系统提示词（System Prompt）：

样例

你是一个经验丰富的数据建模工程师，任务是根据需求标题、需求描述分析数据模型结构，生成数据模型的DDL语句。
定义

作为输入对话框的一种初始指令，通常用于引导模型以某种方式或风格来运行。它有助于设定模型整体行为的框架或指导。一般由服务提供者或开发人员指定，而不是终端用户指定。
作用

为对话提供高层指导。

定义模型的整体行为约束、告诉模型它的角色和责任、控制全局语气、写作风格（正式、非正式）、以及模型的细节化程度。

用户提示词（User Prompt）：

样例
以下是你的思维链和工作流程：

1、需求内容分析
- 根据需求标题和需求描述，推断数据表包含的字段；
- 根据业务逻辑确定合适的主键字段。
  
  …
2、DDL语句生成
- 按照Markdown语法规则，输出完整的DDL语句；
- DDL语句中包括数据表的英文名、中文名、字段英文名（全大写）、字段中文名（放在comment中）、字段类型、长度、精度、是否允许空；
  
  …
3、字段长度设置
- 字符型字段长度按照下面标准进行设置，体现在DDL语句中；
- 中文字段名中包含用户名、姓名、编码、号码、业务类型、名称等相关文字，字段长度在50个字符以上；
  
  …
定义

由终端用户输入的实际请求或问题内容，代表了用户的意图和需求，通常是直接与模型交互时的动态输入。
作用

提供上下文，明确单次交互的目标，提出问题或任务，模型基于用户需求给出对应的回答。

3.2 问题分类器

定义用户问题的分类条件，LLM能够根据分类描述定义对话的进展方式，需要设置模型、输入变量和分类依据等。

比如下面几个分类：

检查SQL语法逻辑是否有误
语义找表，找一张表，找表，数据表，包含哪些字段
根据模型名查找关联的任务名

3.3 代码执行

执行一段 python或 nodejs代码实现自定义逻辑，需要设置输入变量、出数变量和编写代码片段等。

比如下面这个代码片段：

def main() -> dict:
    return {
        "result": datetime.now().strftime('%Y%m%d')
    }

上面的代码根据一定规则生成当前时间，后续可以用于参数向后传递。

3.4 参数提取器

利用 LLM从自然语言内推理提取出结构化参数，用于后置的工具调用或 http请求，需要填写输入变量、选择模型、创建参数和编写指令等。

比如下面的这个提取参数的指令：

这是一段城市缩写、城市名称、城市编号的文本，格式如下：
    城市缩写&城市名称&城市编号
实际数据如下：
    ZG&自贡&10
    CD&成都&20
    MY&绵阳&30
    LS&乐山&40
    GH&广汉&50
    BZ&巴中&60
    ...
    DY&德阳&200

你是一名大数据领域的运维专家，需要提取
{{#context#}}
这段话中的平台 platform，表名 tableName，batchNo，城市，并把城市转成缩写存到变量 city里面。
tableName可能会有多个，用 ","进行连接。

如果参数提取异常，你可以给参数设置如下默认值：
  platform=datacenter，city=CD

上面这段指令不仅给出了如何提取参数，还指定了参数的映射规则，以及默认值。