SpringAI——Java生态接入LLM

最近，Spring官网发布了SpringAI，可点此查看https://spring.io/blog/2024/03/12/spring-ai-0-8-1-released，对于SpringAI的介绍，可看官方文档：https://spring.io/projects/spring-ai#overview。
本文将使用SpringAI配合Ollama完成SpringAI的体验，下面分别介绍SpringAI和Ollama。

一、Spring AI

Spring AI是一个专为人工智能工程而设计的应用框架。它的目标是将Spring生态系统的设计原则，如可移植性和模块化设计，应用于人工智能领域，并推广使用纯Java对象（POJO）作为AI领域应用程序的构建块。

1.Spring AI的核心特性
  • 跨AI提供商的API支持：Spring AI提供了一套可移植的API，支持与多个AI服务提供商的聊天、文本到图像和嵌入模型进行交云。
  • 同步和流式API选项：框架支持同步和流式API，为开发者提供了灵活的交互方式。
  • 模型特定功能访问：允许开发者通过配置参数访问特定模型的功能，提供了更细致的控制。
2.支持的模型
  • 聊天模型：包括OpenAI、Azure Open AI、Amazon Bedrock、Cohere’s Command、AI21 Labs’ Jurassic-2、Meta’s LLama 2、Amazon’s Titan、Google Vertex AI Palm、Google Gemini、HuggingFace（包括Meta的Llama2等数千种模型）、Ollama（本地运行AI模型）、MistralAI等。
  • 文本到图像模型：如OpenAI的DALL-E、StabilityAI等。
  • 嵌入模型：包括OpenAI、Azure Open AI、Ollama、ONNX、PostgresML、Bedrock Cohere、Bedrock Titan、Google VertexAI、Mistal AI等。
3.向量存储API和向量数据库

Spring AI提供了跨不同提供商的向量存储API，具有类似SQL的元数据过滤API，保持了可移植性。支持的向量数据库包括Azure Vector Search、Chroma、Milvus、Neo4j、PostgreSQL/PGVector、PineCone、Redis、Weaviate、Qdrant等。

4.函数调用和ETL框架

Spring AI允许开发者声明java.util.Function实现，用于OpenAI模型的提示响应中。这一特性最小化了不必要的代码，并使AI模型能够请求更多信息以完成其响应。此外，框架还包括一个基于Java函数编程概念的ETL框架，帮助开发者将文档传输到模型提供商使用的向量存储中。

5.丰富的参考文档和示例应用

Spring AI配备了详尽的参考文档、示例应用程序和研讨会/课程材料，确保开发者拥有开始使用和充分利用框架所需的所有资源。

6.Spring AI的未来

Spring AI的未来版本将在当前基础上构建，计划提供对更多AI模型的访问，例如Google刚刚发布的Gemini多模态模型。框架还将引入评估AI应用程序效果的工具，更多的便利API和功能，以帮助解决查询/总结文档等常见用例。

7.Spring AI的使用

要开始使用Spring AI，只需几个简单的步骤：

  1. 安装Spring CLI。
  2. 在shell中运行以下命令创建一个新应用程序：
    spring boot new --from ai --name myai
  3. 这将创建一个用于与ChatGPT进行基本交互的应用程序。按照生成的README文件中的说明获取您的API密钥。
  4. 使用以下命令运行应用程序：
    ./mvw spring-boot:run
  5. 使用curl测试端点：
    curl localhost:8080/ai/simple

二、Ollama：本地运行大型语言模型的轻量级框架

Ollama是一个开源项目，旨在为用户提供一个简单、可扩展的框架，以便在本地机器上快速启动和运行大型语言模型。无论是研究人员、开发者还是对人工智能感兴趣的爱好者，Ollama都提供了一个便捷的途径来探索和利用最新的语言模型技术。

1.核心特性
  • 多平台支持：Ollama支持macOS、Windows预览版和Linux操作系统，确保了广泛的用户基础能够使用该框架。
  • Docker镜像：通过官方的Docker镜像ollama/ollama，用户可以轻松地在容器化环境中部署Ollama。
  • 丰富的模型库：项目支持包括Llama 2、Mistral、Gemma在内的多种大型语言模型，用户可以根据需要选择合适的模型。
  • 易于安装：Ollama提供了详细的安装指南，无论是通过下载压缩包还是使用命令行工具，用户都能轻松完成安装过程。
  • 模型自定义：用户可以通过创建Modelfile来导入GGUF模型，或者从PyTorch和Safetensors导入模型，实现模型的个性化定制。
  • 命令行界面（CLI）：Ollama提供了一系列的CLI命令，简化了模型的创建、管理和运行过程。
  • REST API：通过REST API，用户可以编程方式运行和管理模型，为自动化和集成提供了便利。
  • 社区集成：Ollama与多个社区项目集成，包括Web和桌面应用程序、终端工具、数据库、包管理器和移动应用等，扩展了其应用范围。
2.模型安装和使用

Ollama官网：https://ollama.com/
Ollama Github地址：https://github.com/ollama/ollama

2.1 macOS安装指南
  1. 下载Ollama压缩包：
    访问Ollama的GitHub页面或官方网站，找到适用于macOS的下载链接。
    Download Ollama for macOS
  2. 解压压缩包：
    将下载的Ollama-darwin.zip文件解压到希望安装Ollama的目录。
  3. 安装依赖（如果有）：
    根据Ollama的README文件或官方文档，安装任何必要的依赖项。
  4. 运行Ollama：
    打开终端，切换到解压后的Ollama目录，运行Ollama的启动命令。
cd Ollama-darwin
./ollama
2.2 Windows安装指南
  1. 下载Ollama安装程序：
    在Ollama的GitHub页面上找到Windows预览版的下载链接。
    Download Ollama for Windows
  2. 运行安装程序：
    双击下载的OllamaSetup.exe文件，并按照安装向导的指示完成安装。
  3. 验证安装：
    安装完成后，可以通过运行Ollama的命令或启动桌面应用程序来验证安装是否成功。
2.3 Linux安装指南
  1. 通过curl安装：
    打开终端，运行以下命令来安装Ollama。
    curl -fsSL https://ollama.com/install.sh | sh
  2. 手动安装（可选）：
    如果希望手动安装或需要更详细的安装步骤，可以参考Ollama的GitHub仓库中的Linux安装文档。
    Manual install instructions
  3. 运行Ollama：
    安装完成后，可以通过终端运行Ollama的命令来启动框架。
2.4 Docker安装指南
  1. 安装Docker（如果尚未安装）：
    根据操作系统，从Docker官网下载并安装Docker。
  2. 拉取Ollama Docker镜像：
    在终端中运行以下命令来拉取官方的Ollama Docker镜像。
    docker pull ollama/ollama
  3. 运行Docker容器：
    使用以下命令运行Ollama容器。
    docker run -it ollama/ollama
2.5 验证安装

无论使用的是哪种安装方法，都可以通过运行以下命令来验证Ollama是否已成功安装并运行：
ollama run gemma:2b
这将启动Gemma:2b模型，可以通过与模型交互来测试其功能。Gemma:2b模型对中文相对友好一些，例如：
在这里插入图片描述

三、SpringAI与Ollama
1.首先创建一个Spring项目

在这里插入图片描述

2.选择要使用的模型依赖，这里我选择的是Ollama

在这里插入图片描述

3.Ollama模型选择，Ollama官网中有多个模型可以选择，本次使用gemma:2b这个模型

在这里插入图片描述

4.在配置文件中，配置Ollama模型的URL和要使用的模型
spring.ai.ollama.base-url=http://localhost:11434
spring.ai.ollama.chat.model=gemma:2b
5.启动Ollama，并运行gemma:2b模型。安装完成Ollama后，在命令窗口使用ollama run gemma:2b命令运行该模型，如果系统没有gemma:2b model的话会自动下载，所以第一次会慢一些

在这里插入图片描述

gemma:2b model运行成功后，可通过http://localhost:11434查看状态
在这里插入图片描述

6.在Java代码中进行测试

在这里插入图片描述

支持流式访问，比如这里，给LLM一个提示词：你是一个高级运营，你擅长于写各种运营文案，根据：{message} 场景写一个不少于100字的文案。然后，告诉它一个场景，例如：旅游。
执行程序，给出的结果如下：

## 探索自然，打开无限之旅！

你是否渴望沉浸在自然美景之中？在感受阳光轻轻抚过皮肤的温暖中？在聆听动听的森林鸟叫中？在品尝异国美食的滋味中？

我们为您打造了一套精彩旅游解决方案，带您走进神秘自然之中！

从沉浸式的森林冒险到神秘自然之旅，我们提供各种体验，让您在自然之中寻找属于自己的精彩。

**加入我们，开启无限之旅！**

* **体验神秘自然：** 在神秘森林中，感受自然的奇迹，体验自然界的美丽与神秘。
* **品尝异国美食：** 探索世界的味蕾，品尝当地特色美食，感受不同的文化与风味。
* **沉浸在自然之中：** 在自然公园中散步，体验自然风光，感受生命的活力。
* **与自然共存：** 在环保旅游中，与生态环境共存，创造属于自然界的文明。

**立即开始你的自然之旅吧！**complete~!

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/463396.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Linux内核有什么之块设备驱动有什么第四回 —— 邂逅的三个文件系统之二：实际文件系统（1）

Linux内核有什么之块设备驱动有什么第四回 —— 邂逅的三个文件系统之二：实际文件系统（1）

接前一篇文章：Linux内核有什么之块设备驱动有什么第三回 —— 邂逅的三个文件系统之一：devtmpfs 本文内容参考： 34 | 块设备（上）：如何建立代理商销售模式？-趣谈Linux操作系统-极客时间 Linux内…
阅读更多...
vscode通过多个跳板机连接目标机(两种方案亲测成功)

vscode通过多个跳板机连接目标机(两种方案亲测成功)

1、ProxyJump（推荐使用） 需要OpenSSH 7.3以上版本才可使用，可用下列命令查看： ssh -V ProxyJump命令行使用方法 ssh -J [email protected]:port1,[email protected]:port2 一层跳板机： ssh dst_usernamedst_ip -…
阅读更多...
【Spring 篇】SpringMVC拦截器：给你的应用增添色彩

【Spring 篇】SpringMVC拦截器：给你的应用增添色彩

嗨，亲爱的小伙伴们！欢迎来到这段关于SpringMVC拦截器的奇妙之旅。今天我们要一探究竟，深入挖掘拦截器的神秘面纱，看看它是如何在你的应用中悄然发挥作用的。别怕，我会用最通俗易懂的语言，一步一步带你走进这…
阅读更多...
Python之requests实现github模拟登录

Python之requests实现github模拟登录

文章目录 github 模拟登录前言模拟登录流程抓包操作查看登录表单的内容登录操作 模拟登录操作在 main函数的调用获得 auth_token调用/session接口登录处理检测登录是否成功 总结： github 模拟登录 前言 前面学习了requests模块的基础学习后，接下来做一个…
阅读更多...
c++算法学习笔记 (8) 树与图部分

c++算法学习笔记 (8) 树与图部分

1.树与图的存储 &#xff08;1&#xff09;邻接矩阵 &#xff08;2&#xff09;邻接表 // 链式前向星模板&#xff08;数组模拟&#xff09; #include <iostream> #include <cstring> #include <algorithm> using namespace std; const int N 100010, M …
阅读更多...
GAMES104-现代游戏引擎 1

GAMES104-现代游戏引擎 1

主要学习重点还是面向就业&#xff0c;重点复习八股和算法 每天早上八点到九点用来学习这个课程 持续更新中... 第一节 游戏引擎导论 第二节 引擎架构分层
阅读更多...
jvm的垃圾回收器以及触发full gc的场景

jvm的垃圾回收器以及触发full gc的场景

JVM&#xff08;Java虚拟机&#xff09;的垃圾回收器有很多种&#xff0c;主要包括以下几种&#xff1a; Serial收集器&#xff1a;串行收集器是最古老、最稳定的收集器。它使用单个线程进行垃圾收集工作&#xff0c;在进行垃圾回收时会暂停所有用户线程。 ParNew收集器&#…
阅读更多...
Mr-Robot1靶场练习靶场推荐小白入门练习靶场渗透靶场bp爆破wordpress

Mr-Robot1靶场练习靶场推荐小白入门练习靶场渗透靶场bp爆破wordpress

下载链接&#xff1a; Mr-Robot: 1 ~ VulnHub 安装&#xff1a; 打开vxbox&#xff0c;菜单栏----管理----导入虚拟电脑 选择下载完的ova文件&#xff0c;并修改想要保存的位置&#xff08;也可以保持默认位置&#xff09; 导入完成后可以根据自己的情况去配置网络链接方式 完成…
阅读更多...
AI健身教练-引体向上-俯卧撑计数代码-仰卧起坐姿态估计-康复训练姿态识别-姿态矫正（附代码）

AI健身教练-引体向上-俯卧撑计数代码-仰卧起坐姿态估计-康复训练姿态识别-姿态矫正（附代码）

在AI健身应用中&#xff0c;通过关键点检测技术可以实现对用户动作的精准捕捉和分析&#xff0c;从而进行统计计数和规范性姿态识别。 统计计数&#xff1a;比如在做瑜伽、健身操等运动时&#xff0c;系统可以通过对人体关键点&#xff08;如手部、脚部、关节等&#xff09;的…
阅读更多...
【Java设计模式】二十五、自定义Spring IoC

【Java设计模式】二十五、自定义Spring IoC

文章目录 1、IoC类的定义1.1 定义bean相关的pojo类PropertyValue1.2 定义MutablePropertyValues类1.3 定义BeanDefinition类 2、定义注册表相关类2.1 BeanDefinitionRegistry接口2.2 SimpleBeanDefinitionRegistry类 3、定义解析器相关类3.1 BeanDefinitionReader接口3.2 XmlBe…
阅读更多...
还是了解下吧，大语言模型调研汇总

还是了解下吧，大语言模型调研汇总

大语言模型调研汇总 一. Basic Language ModelT5GPT-3LaMDAJurassic-1MT-NLGGopherChinchillaPaLMU-PaLMOPTLLaMABLOOMGLM-130BERNIE 3.0 Titan 二. Instruction-Finetuned Language ModelT0FLANFlan-LMBLOOMZ & mT0GPT-3.5ChatGPTGPT-4AlpacaChatGLMERNIE BotBard 自从Cha…
阅读更多...
FFmpeg转码参数说明及视频转码示例

FFmpeg转码参数说明及视频转码示例

-b : 设置音频或者视频的转码码率 -b:v 只设置视频码率 -b:a 只设置音频码率 -ab: 只设置音频码率, 默认码率大小为: 128k bit/s -g: 设置视频GOP大小,表示I帧之间的间隔,默认为12 -ar: 设置音频采样率,默认0 -ac: 设置音频通道数量 默认0 -bf: 设置连…
阅读更多...
[自研开源] MyData 数据集成之数据过滤 v0.7.2

[自研开源] MyData 数据集成之数据过滤 v0.7.2

开源地址&#xff1a;gitee | github 详细介绍&#xff1a;MyData 基于 Web API 的数据集成平台 部署文档&#xff1a;用 Docker 部署 MyData 使用手册&#xff1a;MyData 使用手册 试用体验&#xff1a;https://demo.mydata.work 交流Q群&#xff1a;430089673 概述 本篇基于…
阅读更多...
spring boot nacos注册微服务示例demo_亲测成功

spring boot nacos注册微服务示例demo_亲测成功

spring boot nacos注册微服务示例demo_亲测成功 先安装好Nacos Nacos安装使用 创建Maven项目 结构如图 例如项目名为: test-demo 下面有个子模块: test-demo-data-process 父模块pom.xml <?xml version"1.0" encoding"UTF-8"?> <project …
阅读更多...
【Flink SQL】Flink SQL 基础概念（三）：SQL 动态表 连续查询

【Flink SQL】Flink SQL 基础概念（三）：SQL 动态表 连续查询

《Flink SQL 基础概念》系列&#xff0c;共包含以下 5 篇文章&#xff1a; Flink SQL 基础概念&#xff08;一&#xff09;&#xff1a;SQL & Table 运行环境、基本概念及常用 APIFlink SQL 基础概念&#xff08;二&#xff09;&#xff1a;数据类型Flink SQL 基础概念&am…
阅读更多...
数据有噪声？滤它！Python数据滤波详解

数据有噪声？滤它！Python数据滤波详解

文章目录 维纳滤波巴特沃斯滤波器中值滤波排序滤波 Python科学计算&#xff1a;数组&#x1f4af;数据生成&#x1f4af;数据交互&#x1f4af;微积分&#x1f4af;插值&#x1f4af;拟合&#x1f4af;FFT&#x1f4af;卷积 维纳滤波 信号经过系统之后&#xff0c;相当于进行…
阅读更多...
简单的arduino实验理解串口通信（uart为例）独立硬件的信息交互

简单的arduino实验理解串口通信（uart为例）独立硬件的信息交互

前言 接触过单片机的人都知道串口通信&#xff0c;可以通过另一个短文了解,其中入门的应该就是串口通信了。UART全拼的个人理解为通用的异步接收和发送。常见两根短线作为通信线&#xff0c;一般使用TXD和RXD标记。对于两块通信的芯片来说&#xff0c;接收和发送是相对的&…
阅读更多...
Stargo 管理部署 Starrocks 集群

Stargo 管理部署 Starrocks 集群

配置主机间 ssh 互信 ssh-copy-id hadoop02 ssh-copy-id hadoop03配置系统参数 ############################ Swap检查 ############################ echo 0 | sudo tee /proc/sys/vm/swappiness########################### 内核参数检查 ########################## echo…
阅读更多...
PHP+golang开源办公系统CRM管理系统

PHP+golang开源办公系统CRM管理系统

基于ThinkPHP6 Layui MySQL的企业办公系统。集成系统设置、人事管理、消息管理、审批管理、日常办公、客户管理、合同管理、项目管理、财务管理、电销接口集成、在线签章等模块。系统简约&#xff0c;易于功能扩展&#xff0c;方便二次开发。 服务器运行环境要求 PHP > 7.…
阅读更多...
2.3 物理层设备

2.3 物理层设备

2.3 物理层设备 &#xff08;一&#xff09;中继器 产生原因 由于存在损耗&#xff0c;在线路上传输的信号功率会逐渐衰减&#xff0c;衰减到一定程度时将造成信号失真&#xff0c;因此会导致接收错误。 中继器的功能 对信号进行再生和还原&#xff0c;对衰减的信号进行放大…
阅读更多...
最新文章

Copyright @ 2022~2023