springAI框架学习总结

springAI

1.springAI基本介绍

springAI是一个AI工程应用框架，其目标是将 Spring 生态系统设计原则（例如可移植性和模块化设计）应用于 AI 领域，并推广使用 POJO 作为 AI 领域应用程序的构建块。

2.特性

灵活的AIP支持chat,text-to-image, and Embedding models。支持同步和stream API。向下可以接入特定的模型。

Chat Models

  • OpenAI

  • Azure Open AI

  • Amazon Bedrock

    • Cohere's Command

    • AI21 Labs' Jurassic-2

    • Meta's LLama 2

    • Amazon's Titan

  • Google Vertex AI Palm

  • Google Gemini

  • HuggingFace - access thousands of models, including those from Meta such as Llama2

  • Ollama - run AI models on your local machine

  • MistralAI

Text-to-image Models

  • OpenAI with DALL-E

  • StabilityAI

Transcription (audio to text) Models

  • OpenAI

Embedding Models

  • OpenAI

  • Azure OpenAI

  • Ollama

  • ONNX

  • PostgresML

  • Bedrock Cohere

  • Bedrock Titan

  • Google VertexAI

  • Mistal AI

灵活的提供了多个厂商的向量存储API.

Vector Databases

  • Azure Vector Search

  • Chroma

  • Milvus

  • Neo4j

  • PostgreSQL/PGVector

  • PineCone

  • Redis

  • Weaviate

  • Qdrant

为 AI Models and Vector Stores提供了Spring Boot Auto Configuration and Starters .

支持以下模型：

  • OpenAI

  • Azure OpenAI

  • VertexAI

  • Mistral AI

支持的模型供应商：

  • OpenAI

  • Microsoft,

  • Amazon,

  • Google

  • and Huggingface

提供数据工程ETL框架：

  • 核心功能是促进使用向量存储将文档传输到模型提供者。 ETL 框架基于 Java 函数式编程概念，可帮助您将多个步骤链接在一起。

  • 支持读取各种格式的文档，包括 PDF、JSON 等。

  • 允许进行数据操作以满足需求。涉及分割文档以遵守上下文窗口限制，并使用关键字增强其以提高文档检索效率。

  • 处理后的文档存储在矢量数据库中，以便将来检索。

https://github.com/open-webui/open-webui

058 Docker运行Open WebUI拉取镜像_哔哩哔哩_bilibili

3.springAI框架使用搭建

参考文档：

Installation :: Spring Cli

Spring AI

Spring AI :: Spring AI Reference

Getting Started :: Spring AI Reference

Spring AI 中的类：

  • DocumentReader：一个 Java 功能接口，负责从数据源加载 List<Document>。 常见的数据源有 PDF、Markdown 和 JSON。

  • Document：数据源的基于文本的表示形式，还包含用于描述内容的元数据。

  • DocumentTransformer：负责以各种方式处理数据（例如，将文档分割成更小的部分或向文档添加额外的元数据）。

  • DocumentWriter：允许您将文档保存到数据库中（最常见的是在 AI 堆栈中，矢量数据库）。

  • Embedding：将数据表示为 List<Double>，矢量数据库使用它来计算用户查询与相关文档的“相似度”。

在矢量数据库中，查询与传统的关系数据库不同。 他们执行相似性搜索，而不是精确匹配。 当给定向量作为查询时，向量数据库返回与查询向量“相似”的向量。 矢量数据库用于将您的数据与 AI 模型集成。 使用它们的第一步是将数据加载到矢量数据库中。 然后，当用户查询要发送到人工智能模型时，首先检索一组相似的文档。 然后，这些文档将作为用户问题的上下文，并与用户的查询一起发送到人工智能模型。 该技术称为检索增强生成（RAG）。

评估AI模型响应 ： 一种方法涉及呈现用户的请求和人工智能模型对模型的响应，查询响应是否与提供的数据一致。

利用矢量数据库中存储的信息作为补充数据可以增强评估过程，有助于确定响应相关性。

Spring AI 项目当前提供了一些非常基本的示例，说明如何以提示的形式评估响应以包含在 JUnit 测试中。

step1 下载安装spring cli工具 https://github.com/spring-projects/spring-cli/releases

step2.创建myai工程

spring boot new --from ai --name myai

step3.创建openAI账户，获取api key并配置其于项目工程

获取apikey

https://platform.openai.com/api-keys

New API

配置api key

step4.运行myai工程

step5.访问工程：

curl localhost:8080/ai/simple

参考代码：https://github.com/rd-1-2022/ai-openai-helloworld/tree/main

注意：可能因为网络无法访问，需自行解决

Spring AI整合OpenAI和Ollama本地大模型_哔哩哔哩_bilibili

ollama

   4. springAI API

  • chat completion API(openAI/Ollama/huggingface/google vertexAI)

  • Embeddings API (openAI/ollama/google vertexAI/Transformer(ONNX)) EmbeddingClient 界面旨在与 AI 和机器学习中的嵌入模型直接集成。 其主要功能是将文本转换为数值向量，通常称为嵌入。 这些嵌入对于语义分析和文本分类等各种任务至关重要。

    EmbeddingClient 界面的设计围绕两个主要目标：

    可移植性：该接口确保了跨各种嵌入模型的轻松适应性。 它允许开发人员以最少的代码更改在不同的嵌入技术或模型之间切换。 这种设计符合 Spring 的模块化和可互换性理念。

    简单性：EmbeddingClient 简化了将文本转换为嵌入的过程。 通过提供 embed(String text) 和 embed(Document document) 等简单方法，它消除了处理原始文本数据和嵌入算法的复杂性。 这种设计选择使开发人员（尤其是刚接触 AI 的开发人员）能够更轻松地在应用程序中利用嵌入，而无需深入研究底层机制。

  • image generation api(openAI/stability)

  • transcription API (openAI)

  • vector databases(Neo4j/PGvector/Redis);

  • Function Calling

    大型语言模型（LLM）在训练后被冻结，导致知识过时，并且无法访问或修改外部数据。

    Function Calling 机制解决了知识过时问题，允许注册自定义用户函数，将大型语言模型连接到外部系统的 API。 这些系统可以为llm提供实时数据并代表他们执行数据处理操作。

  • Multimodality API(多模态 api) 多模态是指模型同时理解和处理多种类型模式的的信息数据能力，包括：文本、图像、音频；

    多模式大语言模型（LLM）特征使模型能够结合其他模态（图像、音频、视频）来处理和生成文本响应；

    springAI多模态API提供了所有必要的统一抽象和代码封装来支持多模态LLM

  • Prompts

    角色： system Role /User Role/ Assitant Role/Function Role

    提示技术：

    • Text Summarization: 文本总结

    • Question Answering: 问题问答

    • Text Classification: 文本分类

    • Conversation: 交互式自然对话

    • Code Generation: 代码生成

    高级技术：

    • Zero-shot, Few-shot Learning（零样本，少样本学习）: 使模型能够通过最少甚至没有特定问题类型的先前示例做出准确的预测或响应，使用学习到的概括来理解新任务并采取行动。

    • Chain-of-Thought（链式思维）: 将多个人工智能响应链接起来，创建连贯且上下文相关的对话。 它帮助人工智能保持讨论的主线，确保相关性和连续性。

    • ReAct (Reason + Act): 这种方法中，人工智能首先分析输入（推理），然后确定最合适的行动或响应方案。 它将理解与决策结合起来。

  • 输出解析（Output Parsers）

    OutputParser 接口允许您获取结构化输出，例如将输出映射到 Java 类或 AI 模型基于字符串的输出的值数组。

output Parser接口实现：BeanOutputParser（java bean 与json）、MapOutputParser(json转map)、ListOutputParser（输出为逗号分隔的list）

  • ETL Pipeline

    Extract,Transform,Load->ETL

    Retrieval Augmented Generation (RAG):检索增强生成

    ETL 框架充当检索增强生成 (RAG) 用例中数据处理的支柱。

    ETL 管道编排从原始数据源到结构化向量存储的流向，确保数据采用最佳格式供 AI 模型检索。

    RAG 用例是文本，通过从数据体中检索相关信息来增强生成模型的功能，从而提高生成输出的质量和相关性。

    ETL pipeline的三个主要组件：

    • DocumentReader 实现了 Supplier<List<Document>>接口

    • DocumentTransformer 实现了 Function<List<Document>, List<Document>>接口

    • DocumentWriter 实现了Consumer<List<Document>>接口 Document 类包含文本和元数据，是通过 DocumentReader 从 PDF、文本文件和其他文档类型创建的。

      ETL 类型：

      • PagePdfDocumentReader 实现了 DocumentReader

      • TokenTextSplitter 实现了 DocumentTransformer

      • VectorStore 接口of DocumentWriter接口

      将数据基本加载到向量数据库中以与检索增强生成（RAG）模式一起使用，代码如下： vectorStore.accept(tokenTextSplitter.apply(pdfReader.get()));

  • 测试评估（evaluation testing）

  • 通用模型api(Generic Model API)

    为了给所有 AI 模型客户端提供基础，创建了通用模型 API。 这使得通过遵循通用模式可以轻松地为 Spring AI 提供新的 AI 模型支持。 以下部分为此 API介绍：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/594687.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

WPF之绑定属性值转换

WPF之绑定属性值转换

1&#xff0c;使用Binding.Format属性简易设置绑定的属性数据显示格式。 <TextBox Grid.Row"2" Grid.Column"1"><TextBox.Text><Binding Path"UnitCost" StringFormat"{}{0:C3}" > …
阅读更多...
[论文笔记]Longformer: The Long-Document Transformer

[论文笔记]Longformer: The Long-Document Transformer

引言 今天带来论文Longformer: The Long-Document Transformer的笔记。 基于Transformer的模型由于其自注意力操作而无法处理长序列&#xff0c;该操作随着序列长度呈二次扩展。为了解决这一限制&#xff0c;本篇工作提出了Longformer&#xff0c;其注意力机制随着序列长度呈…
阅读更多...
Edge扩展应用程序的上架流程

Edge扩展应用程序的上架流程

前言 在软件开发的生命周期中&#xff0c;发布流程是将产品推向市场并交付给用户的关键阶段。它不仅标志着一个项目从开发阶段到用户手中的转变&#xff0c;也是确保软件质量和用户体验的重要环节。那么一个清晰、高效且可重复的发布流程对于任何软件项目的成功至关重要&#…
阅读更多...
CMakeLists.txt语法规则：提供信息的变量说明一

CMakeLists.txt语法规则：提供信息的变量说明一

一. 简介 前面几篇文章学习了 CMakeLists.txt语法中 部分常用命令。 接下来学习CMakeLists.txt语法中部分常用变量&#xff0c;变量也是 cmake 中的一个重头戏&#xff0c;cmake 提供了很多内置变量。每一个变量都有它自己的含义&#xff0c;可以通过如下链接地址查询到所有…
阅读更多...
环保设备在线监控系统

环保设备在线监控系统

随着环保意识的日益提升&#xff0c;对环境污染的监控与管理成为了我们不可忽视的重要任务。在这个背景下&#xff0c;HiWoo Cloud平台凭借其强大的环保设备在线监控系统&#xff0c;为环保事业注入了新的活力&#xff0c;助力我们共同迈向绿色未来。 一、环保设备在线监控系统…
阅读更多...
jsPDF + html2canvas + Vue3 + ts项目内，分页导出当前页面为PDF、A 页面内导出 B 页面的内容为PDF，隐藏导出按钮等多余元素

jsPDF + html2canvas + Vue3 + ts项目内，分页导出当前页面为PDF、A 页面内导出 B 页面的内容为PDF，隐藏导出按钮等多余元素

jsPDF html2canvas Vue3 ts Arco Design项目&#xff0c;分页导出当前页面为PDF、A 页面内导出 B 页面的内容为PDF&#xff0c;隐藏导出按钮等多余元素… 1.下载所需依赖 pnpm install --save html2canvaspnpm install --save jspdf引入依赖 <script setup lang"…
阅读更多...
JavaScript —— APIs（五）

JavaScript —— APIs（五）

一、Window对象 1. BOM&#xff08;浏览器对象模型&#xff09; 2. 定时器-延时函数 ①、定义 ②、定时器比较 ③、【案例】 3. JS执行机制 4. location对象 注意&#xff1a;hash应用 不点击页面刷新号&#xff0c;点击刷新按钮也可以实现页面刷新 【案例】 5. navig…
阅读更多...
WAF防火墙可以给您解决什么问题？哪些情况下使用WAF最适合？

WAF防火墙可以给您解决什么问题？哪些情况下使用WAF最适合？

一、什么是WAF&#xff1f; Web应用防护系统&#xff08;也称为&#xff1a;网站应用级入侵防御系统。英文&#xff1a;Web Application Firewall&#xff0c;简称&#xff1a;WAF&#xff09;。利用国际上公认的一种说法&#xff1a;Web应用防火墙是通过执行一系列针对HTTP/H…
阅读更多...
Occlum原理解析及使用说明

Occlum原理解析及使用说明

目录 一、设计初衷 二、背景知识 1.什么是可信计算 2.什么是TEE 3.传统SGX SDK的问题 三、Occlum 1.如何使用 2.特点 3.如何使用 1.Docker部署 1 硬件支持 2 环境 3 拉取镜像创建虚机 4 简单验证 4.Occlum中gcc编译 1 交叉编译 2 初始化Occlum实例 3 Occlum构…
阅读更多...
如何更好的使用cpm

如何更好的使用cpm

nvidia发布了RAFT库&#xff0c;支持向量数据库的底层计算优化&#xff0c;RAFT 也使用CMake Package Manager( CPM )和rapids-cmake管理项目&#xff0c;可以方便快捷的下载到需要的对应版本的thirdparty的依赖库&#xff0c;但是&#xff0c;一般情况下&#xff0c;项目是直接…
阅读更多...
数据库复习1

数据库复习1

1.试述数据、数据库、数据库管理系统、数据库系统的概念 1.数据(Data): 数据是关于事物的符号表示或描述。它可以是任何事实、观察或者测量的结果&#xff0c;如数字、字符、声音、图像等。数据在没有上下文的情况下可能没有明确的意义。 2.数据库(Database): 数据库是一个持…
阅读更多...
面试题：集合篇

面试题：集合篇

说说 List, Set, Queue, Map 四者的区别&#xff1f; List(对付顺序的好帮手): 存储的元素是有序的、可重复的。Set(注重独一无二的性质): 存储的元素是无序的、不可重复的。Queue(实现排队功能的叫号机): 按特定的排队规则来确定先后顺序&#xff0c;存储的元素是有序的、可重…
阅读更多...
传输层协议 TCP UDP协议 解析（二）

传输层协议 TCP UDP协议 解析（二）

文章目录 UDP&#xff1a;用户数据报协议UDP报文格式TCP与UDP的区别 UDP&#xff1a;用户数据报协议 UDP是一种面向无连接的传输层协议&#xff08;数据一直发送&#xff0c;没有ack&#xff0c;所以不需要考虑ack&#xff09;&#xff0c;传输可靠性没有保证。 UDP不提供重传…
阅读更多...
Rust 实战thiserror+自定义错误消息体

Rust 实战thiserror+自定义错误消息体

导航 一、背景二、实践1、导入thiserror2、自定义错误消息体&#xff08;1&#xff09;创建ErrMsg.rs和创建自定义结构体&#xff08;2&#xff09;lib.rs添加ErrMsg&#xff08;3&#xff09;main函数&#xff08;4&#xff09;完整代码 一、背景 开发中遇到需要通用、能够满…
阅读更多...
Note-backbone预训练权重对模型收敛速度的影响和mmlab实验测试

Note-backbone预训练权重对模型收敛速度的影响和mmlab实验测试

简介 在训练一些复杂模型时候&#xff0c;通常会考虑读取backbone的预训练权重&#xff0c;这种方法有以下好处&#xff1a; 初始化网络参数&#xff1a;在深度学习模型训练过程中&#xff0c;通常需要随机初始化神经网络的参数。然而&#xff0c;如果采用Backbone预训练权重进…
阅读更多...
拼多多不花钱推广能做起来吗

拼多多不花钱推广能做起来吗

拼多多推广可以使用3an推客。3an推客&#xff08;CPS模式&#xff09;给商家提供的营销工具&#xff0c;由商家自主设置佣金比例&#xff0c;激励推广者去帮助商家推广商品链接&#xff0c;按最终有效交易金额支付佣金&#xff0c;不成交不扣费。是商家破零、积累基础销量的重要…
阅读更多...
背景音乐广播系统解决方案

背景音乐广播系统解决方案

背景音乐广播系统解决方案18123651365 在公共广播背景音乐系统虽然是一个小小分支&#xff0c;但是却与人们的生活质量直接挂钩&#xff0c;如早晨时间&#xff0c;可以通过播放一些愉快的音乐&#xff0c;使得住宅居名、上班一族和晨运一族有一个愉快的心情&#xff0c;精神抖…
阅读更多...
ASP.NET MVC(-)表单的提交、获取表单数据

ASP.NET MVC(-)表单的提交、获取表单数据

FromCollection 方式
阅读更多...
《QT实用小工具·五十六》自适应界面变化的控件

《QT实用小工具·五十六》自适应界面变化的控件

1、概述 源码放在文章末尾 该项目实现了网格显示多张带文字的图片在界面中自适应布局 特点 跟随窗口大小变换位置&#xff0c;并带移动动画 响应鼠标事件&#xff0c;图片缩放动画 点击水波纹动画 项目demo演示如下所示&#xff1a; 项目部分代码如下所示&#xff1a; #i…
阅读更多...
剖析QMS质量管理系统：推动企业效益提升的关键因素

剖析QMS质量管理系统：推动企业效益提升的关键因素

质量管理系统&#xff08;QMS&#xff09;是企业管理中至关重要的一环&#xff0c;它涵盖了组织的所有流程和活动&#xff0c;并旨在提高产品和服务的质量。通过实施和运营一个有效的QMS&#xff0c;企业能够不断改进其业务&#xff0c;满足客户需求&#xff0c;提高竞争力&…
阅读更多...
最新文章

Copyright @ 2022~2023