HuggingFists系统功能介绍(5)--环境资源

模型库

    模型库用于管理由HuggingFists系统自己生成的或者外部导入的各种模型。如:HuggingFace网站提供的各类模型可导入该模块进行统一管理及部署。该功能目前在HuggingFists的社区版中并未提供。

环境管理

环境管理-工作节点

环境管理-服务配置

        环境管理主要用于与使用者的环境进行整合,最大限度的整合使用者已具备的各类能力。这种整合即可以提升工程实施效率又可以节省实施成本。

        环境管理目前包括:集群、工作节点以及服务配置三个子模块。其中集群模块在HuggingFists的社区版中并未提供。该模块主要用于整合使用者环境中的计算集群,方便调度运行基于Spark、Flink计算框架编写的流程。

        工作节点用于管理HuggingFists的计算节点,用于解释执行基于算子定义的数据处理或分析流程。HuggingFists的社区版缺省状况下只安装了一个单机计算节点,其企业版支持安装管理多计算节点。当使用者流程众多且需要并发调度时,可以将流程交给不同的计算节点并发运行。

        服务配置用于管理各类连接器、算子运行时所需的公共服务。如:Http代理等。

        环境管理介绍完了,下面我们看一下资源库管理。

资源库

      

    资源库管理包括连接器库、算子库以及Prompt(提示)库三种类型的库。

连接器库

        连接器库用于注册管理各类连接器。连接器是HuggingFists中的一种特殊插件,通过连接器可以创建与各类存储系统的数据连接。每种数据源都有一个专属的连接器。连接器分为四类,如我们在数据源中介绍的,数据源分为数据库、文件系统、事件流以及应用系统四类。连接器的类型与此一一对应。

        HuggingFists系统提供了一套连接器的开发标准,目前尚未开放。等标准开放后,开发者可以依此标准扩展打包不同的连接器。并通过“上传”按钮注册连接器。连接器注册成功后,在数据源管理模块就可以看到连接器所注册的数据源类型并可创建对应的数据源了。

算子库

        再看一下算子库。算子库用于注册管理各类算子。HuggingFists提供的算子主要分为:输入、输出、读取、写出、处理、分析、资源、控制以及动作9类。算子库以算子类型作为分组标准对算子进行分组管理。

  1. 输入算子用于从数据源读取数据;输出算子用于向数据源写出数据;当一个流程中一般每增加一个连接器就会配套增加一对输入、输出算子。
  2. 资源算子用于优化输入、输出时的资源占用,如数据库连接算子,当某个流程中需要读写同一数据库时,可以加入一个数据库连接算子,使数据库的读写算子复用同一数据连接。
  3. 读取算子用于特定格式文件;写出算子用于写出特定格式的文件。
  4. 处理算子用于实现对数据的各类处理,这是算子库中最丰富的一类算子。
  5. 分析算子封装了各类分析算法,用于实现对数据的模型训练,如:分类、聚类等算法。
  6. 控制算子用于控制数据流的流转逻辑。如:条件控制算子、数据集复制算子等。
  7. 动作算子用于完成特定功能的操作,如:表清空操作、文件删除操作等。

使用者可以通过“检索”页面检索所需的算子,了解算子的用法。

Prompt库

再看一下Prompt提示库。该库主要用于管理提示工程中的“提示”。如今“提示”是使用者与LLM交互的桥梁。使用者通过向LLM输入提示信息来驱动模型完成指定的工作。由于LLM内部知识呈现黑盒特征,且不同的LLM间也有差异。所以使用者需要“提示工程”来设计和积累输入何种提示信息能够让LLM按照使用者的要求输出结果。

HuggingFists给出了提示库管理功能,可以帮助用户不断积累提示模板。支持使用者对提示模板进行分组管理;支持使用者设置提示模板可以应用的模型族系、类型等信息。

HuggingFists是目前为数不多能够提供提示模板积累并可以直接应用的工具。

总结

    HuggingFists系统的基本功能我们介绍完了。感兴趣的朋友可以安装并试用下了。通过本次介绍,使用者应该可以自行搭建自己的数据处理或分析流程了。至于HuggingFists系统还有很多应用细节,我们后续将再做专题介绍。在此之前,大家也可以自行点击摸索使用,期间大家碰到什么问题或有任何建议可以扫描下面的二维码加入群组与我们一起讨论。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/410960.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

KubeSphere 镜像构建器(S2I)服务证书过期解决方案

目前 KubeSphere 所有 3.x.x 版本,如果开启了 DevOps 模块并使用了镜像构建器功能(S2I)都会遇到证书过期问题。 解决方法 已开启 DevOps 模块 下载这个更新 S2I 服务证书压缩包,上传到任一可以访问 K8s 集群的节点; …

抖店商家每天都需要做什么?这六点内容不能少!新手建议收藏!

大家好,我是电商小布。 在我们开店运营的过程中,每天需要做的事情其实还是挺多的。 想要我们小店稳定长期的发展下去,有哪些必做的内容呢? 今天,小布就根据我们自己做店几年的经验,来带大家详细的了解一…

Linux-实用操作(黑马学习笔记)

各类小技巧(快捷键) ctrl c 强制停止 ● Linux某些程序的运行,如果想要强制停止它,可以使用快捷键ctrl c ● 命令输入错误,也可以通过快捷键ctrl c,退出当前输入,重新输入 ctrl d 退出或登…

Project_Euler-24 题解

Project_Euler-24 题解 题目 思路 如果是用笔算的话,可以找到这样的规律: 对于下面的这个组合: 0123456789 {0123456789} 0123456789 我们将其看作一种排列情况,然后我们先使用微扰的方式更改变动一下其中的数值,具…

SQL Developer 小贴士:PL/SQL语法分析

对于SQL或PL/SQL中的语法错误和警告,SQL Developer可以用不同颜色的下划波浪线显示。 启用语法分析,可以用菜单Tool>Preferences>Code Editor>Completion Insight>Enable Semantic Analysis Info Tips 例如,以下的代码中&…

linux系统---安装使用nginx

目录 一、编译安装Nginx 1、关闭防火墙,将安装nginx所需要软件包传到/opt目录下 ​编辑2、安装依赖包 3、创建运行用户、组 4、编译安装nginx 5、创建软链接后直接nginx启动 ​编辑 6、创建nginx自启动文件 ​编辑6.1 重新加载配置、设置开机自启并开启服务…

【开源】JAVA+Vue.js实现大病保险管理系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 系统配置维护2.2 系统参保管理2.3 大病保险管理2.4 大病登记管理2.5 保险审核管理 三、系统详细设计3.1 系统整体配置功能设计3.2 大病人员模块设计3.3 大病保险模块设计3.4 大病登记模块设计3.5 保险审核模块设计 四、…

多线程基础说明【基础篇】

目录 🌭1.相关概念 🍿2.创建和启动线程 🥞3.线程安全 🧈4.死锁 🥓5.线程通信的方法 1.相关概念 1.1程序 为完成特定任务,用某种语言编写的一组指令的集合。即指一段静态的代码,静态对象…

数据结构二叉树顺序结构——堆的实现

二叉树顺序结构——堆的实现 结构体的创建以及接口函数结构体的创建堆的初始化交换函数堆的插入向上调整删除向下调整返回堆的个数返回堆顶数据判断堆是否为空 该文章以大堆作为研究对象 结构体的创建以及接口函数 typedef int HPDateType;//定义动态数组的数据类型 typedef s…

Spring Cloud学习

1、什么是SpringCloud Spring cloud 流应用程序启动器是基于 Spring Boot 的 Spring 集成应用程序,提供与外部系统的集成。Spring cloud Task,一个生命周期短暂的微服务框架,用于快速构建执行有限数据处理的应用程序。Spring cloud 流应用程…

Oracle ADG相关介绍

文章目录 一、ADG原理1、ADG介绍2、ADG搭建流程 二、ADG相关参数三、增量修复 一、ADG原理 1、ADG介绍 Oracle ADG(Advanced Data Guard)是Oracle数据库的一项高可用和灾难恢复技术,它通过将数据保持在物理备库中来提供数据保护和容灾能力。…

Odoo系统安装部署并结合内网穿透实现固定域名访问本地ERP系统

文章目录 前言1. 下载安装Odoo:2. 实现公网访问Odoo本地系统:3. 固定域名访问Odoo本地系统 前言 Odoo是全球流行的开源企业管理套件,是一个一站式全功能ERP及电商平台。 开源性质:Odoo是一个开源的ERP软件,这意味着企…

C++ 游戏飞机大战, 字符型的

//#define _CRT_SECURE_NO_WARNINGS 1 用于禁止不安全函数的警告 #include<iostream> #include<stdlib.h> #include<string> #include<conio.h> #include<Windows.h> #include<time.h> #include <graphics.h> using namespace std;…

Python爬虫-付费代理推荐和使用

付费代理的使用 相对免费代理来说&#xff0c;付费代理的稳定性更高。本节将介绍爬虫付费代理的相关使用过程。 1. 付费代理分类 付费代理分为两类&#xff1a; 一类提供接口获取海量代理&#xff0c;按天或者按量收费&#xff0c;如讯代理。 一类搭建了代理隧道&#xff0…

一元函数微分学——刷题(22

目录 1.题目&#xff1a;2.解题思路和步骤&#xff1a;3.总结&#xff1a;小结&#xff1a; 1.题目&#xff1a; 2.解题思路和步骤&#xff1a; 由于是极坐标方程&#xff0c;所以这个式子一定成立&#xff1a; 然后代入r即可变为参数方程的求导&#xff1a; 3.总结&#xff…

52.仿简道云公式函数实战-文本函数-LEFT

1. LEFT函数 从一个文本字符串的第一个字符开始返回指定个数的字符。 2. 函数用法 LEFT(text,[num_chars]) 3. 函数示例 从一个文本字符串的第一个字符开始返回指定个数的字符。 4. 代码实战 首先我们在function包下创建text包&#xff0c;在text包下创建LeftFunction类…

POST参数里加号+变成空格的问题处理

今天遇到个这样的问题&#xff0c;从前端传到后端的加密报文&#xff0c;里面包含了号&#xff0c;但在后端日志输出看出&#xff0c;变成空格。这个是由于经过RSA加密后引起的 解决办法&#xff1a; 1.前端转码&#xff1a;使用encodeURIComponent对参数进行转码 2.后端解码…

msvcp110.dll找不到的处理方法,一键修复msvcp110.dll文件

如果你遭遇到了“msvcp110.dll文件丢失”的现象&#xff0c;那就要引起足够的重视&#xff0c;因为这通常意味着你的电脑上某些依赖此DLL文件的应用程序将无法正常启动。msvcp110.dll是许多软件中必须的组件&#xff0c;一旦发生丢失&#xff0c;影响的不仅是单个程序&#xff…

Java SpringBoot 整合 MyBatis 小案例

Java SpringBoot 整合 MyBatis 小案例 基础配置&#xff08;注意版本号&#xff0c;容易报错&#xff09; pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http…

武汉灰京文化:中国手游行业新技术的涌现与产业链的完善

中国手游行业正迎来新技术的涌现&#xff0c;如虚拟现实&#xff08;VR&#xff09;、增强现实&#xff08;AR&#xff09;和人工智能&#xff08;AI&#xff09;。这些技术为游戏提供了全新的可能性&#xff0c;扩展了游戏的玩法和体验。例如&#xff0c;VR技术可以让玩家沉浸…