Spring框架永远滴神之SpringAI玩转大模型

文章目录

  • 一、SpringAI简介
    • 1.什么是SpringAI
    • 2.SpringAI支持的大模型类型
      • （1）聊天模型
      • （2）文本到图像模型
      • （3）转录（音频到文本）模型
      • （4）嵌入模型
      • （5）矢量数据库
    • 3.SpringAI版本
  • 二、SpringAI框架使用，对接OpenAI
    • 1.环境信息
    • 2.初始化
    • 3.配置文件
      • （1）application.yml
      • （2）pom文件
    • 4.聊天代码测试
      • （1）聊天接口
      • （2）流式响应
      • （3）chatModel api
      • （4）文字生成图片
      • （5）文字生成语音
      • （6）预先定义角色
      • （7）functionCall功能
      • （8）如何通过代理的方式访问接口

一、SpringAI简介

1.什么是SpringAI

Spring AI 是一个面向 AI 工程的应用框架，其目标是将 Spring 生态系统的可移植性和模块化设计等设计原则应用到 AI 领域，并推动将 POJO 作为应用的构建块应用于 AI 领域。
简单地说，就是不再需要我们再去封装各种各样的类或者方法，直接用spring框架内置的方法，和大模型进行通信

官网地址https://spring.io/projects/spring-ai

2.SpringAI支持的大模型类型

（1）聊天模型

  • OpenAI
  • Azure Open AI
  • Amazon Bedrock
  • Cohere’s Command
  • AI21 Labs’ Jurassic-2
  • Meta’s LLama 2
  • Amazon’s Titan
  • Google Vertex AI Palm
  • Google Gemini
  • HuggingFace - access thousands of models, including those from Meta such as Llama2
  • Ollama - run AI models on your local machine
  • MistralAI

（2）文本到图像模型

  • OpenAI with DALL-E
  • StabilityAI

（3）转录（音频到文本）模型

  • OpenAI

（4）嵌入模型

  • OpenAI
  • Azure OpenAI
  • Ollama
  • ONNX
  • PostgresML
  • Bedrock Cohere
  • Bedrock Titan
  • Google VertexAI
  • Mistal AI

（5）矢量数据库

  • Azure Vector Search
  • Chroma
  • Milvus
  • Neo4j
  • PostgreSQL/PGVector
  • PineCone
  • Redis
  • Weaviate
  • Qdrant

3.SpringAI版本

目前只出了一个版本1.0.0-M1
请添加图片描述

二、SpringAI框架使用，对接OpenAI

1.环境信息

  • Maven： apache-maven-3.9.6
  • springBoot： 3.3.0
  • JAVA：JDK17

2.初始化

server url里面如果是阿里云的链接，给换掉，因为阿里云的构建springboot里面选不了AI模块
jdk一定要选17
请添加图片描述
引入springweb和openAI两个依赖模块就可以
请添加图片描述

3.配置文件

（1）application.yml

这里面你要去百度上找，或者自己去买openai的api-key，贴在api-key后面就可以，
base-url可以通过代理方式去调用，后面会讲到。

spring:
  application:
    name: springAI
  ai:
    openai:
      api-key: 
      base-url: https://api.chatanywhere.tech  #国内中转访问

（2）pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>3.3.0</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.kdx</groupId>
    <artifactId>springAI</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>springAI</name>
    <description>Demo project for Spring Boot</description>
    <properties>
        <java.version>17</java.version>
        <spring-ai.version>1.0.0-M1</spring-ai.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>
    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.ai</groupId>
                <artifactId>spring-ai-bom</artifactId>
                <version>${spring-ai.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.8.1</version>
                <configuration>
                    <compilerVersion>17</compilerVersion>
                    <source>16</source>
                    <target>16</target>
                    <encoding>UTF-8</encoding>
                    <!-- maven 3.6.2及之后加上编译参数，可以让我们在运行期获取方法参数名称。 -->
                    <parameters>true</parameters>
                    <skip>true</skip>
                </configuration>
            </plugin>
        </plugins>


    </build>
    <repositories>
        <repository>
            <id>spring-milestones</id>
            <name>Spring Milestones</name>
            <url>https://repo.spring.io/milestone</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
    </repositories>

</project>

4.聊天代码测试

新建Controller类，通过接口调用测试

（1）聊天接口

    @Autowired
    private ChatClient chatClient;

//交流
    @RequestMapping("/chat")
    public String generation(@RequestParam(value = "message", defaultValue = "讲个笑话") String message) {

        //prompt：提示词
        return this.chatClient.prompt()
                //用户信息
                .user(message)
                //请求大模型
                .call()
                //返回文本
                .content();
    }

启动项目访问接口测试
请添加图片描述

（2）流式响应

流式响应的意思就是，调用接口一次响应太多文字给浏览器需要等很久，使用流式响应真正的像GPT

    @Autowired
    private ChatClient chatClient;
//流式响应
    @RequestMapping(value = "/stream", produces = "text/html;charset=UTF-8")
    public Flux<String> stream(@RequestParam(value = "message", defaultValue = "讲个笑话") String message) {
        Flux<String> output = chatClient.prompt()
                .user(message)
                //流式调用
                .stream()
                .content();
        return output;
    }

启动项目访问接口测试
请添加图片描述

（3）chatModel api

chatModel API比ChatClient 更灵活，但是底层还是用的ChatClient ，可以去参考一下chatModel的API，可以设置很多参数，因为下面设置的是gpt-4，api-key必须要和版本对应

    @Autowired(required = false)
    private ChatModel chatModel;
    //chatModel api
    @RequestMapping(value = "/ChatResponse", produces = "text/html;charset=UTF-8")
    public String ChatResponse(@RequestParam(value = "message") String message) {
        ChatResponse response = chatModel.call(new Prompt(
                message,
                OpenAiChatOptions.builder()
                        //选择gpt版本
                        .withModel("gpt-4-32k")
                        .withTemperature(0.4f)
                        .build()
        ));
        return response.getResult().getOutput().getContent();
    }

（4）文字生成图片

它也是只有特定的模型才能使用，需要对应的api-key

    @Autowired(required = false)
    private OpenAiImageModel openaiImageModel;
	//文生图
    @RequestMapping(value = "/openaiImageModel", produces = "text/html;charset=UTF-8")
    public String openaiImageModel(@RequestParam(value = "message") String message) {
        ImageResponse response = openaiImageModel.call(
                new ImagePrompt(message,
                        OpenAiImageOptions.builder()
                                //图片质量
                                .withQuality("hd")
                                //生成几张
                                .withN(1)
                                //尺寸
                                .withHeight(1024)
                                .withWidth(1024).build())

        );
        return response.getResult().getOutput().getUrl();
    }

（5）文字生成语音

它也是只有特定的模型才能使用，需要对应的api-key

	//文生语音
    @RequestMapping(value = "/writeByte", produces = "text/html;charset=UTF-8")
    public String writeByte(@RequestParam(value = "message") String message) {
        OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
                .withModel(OpenAiAudioApi.TtsModel.TTS_1.value)
                .withVoice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
                .withResponseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
                .withSpeed(1.0f)
                .build();

        SpeechPrompt speechPrompt = new SpeechPrompt(message, speechOptions);
        SpeechResponse response = openAiAudioSpeechModel.call(speechPrompt);

        byte[] body = response.getResult().getOutput();
        try {
            writeByte(body,"D:\\Project");
        } catch (Exception e) {
            System.out.println(e);
        }
        return "ok";
    }

    public static void writeByte(byte[] audioBytes, String outputFilePath) throws IOException {
        FileOutputStream fileOutputStream = new FileOutputStream(outputFilePath + "111.mp3");
        fileOutputStream.write(audioBytes);
        fileOutputStream.close();
    }

（6）预先定义角色

意思就是在调用聊天模型的时候，预先给他设定好一个角色
比如调用聊天接口，他是怎么知道他是java开发工程师的呢？就是通过预先定义角色
请添加图片描述
新建一个AIConfig 配置类，通过一段文字在springboot启动时，预先给他定义他的角色

@Configuration
public class AIConfig {

    //角色预设
    @Bean
    ChatClient chatClient(ChatClient.Builder builder) {
        return builder.defaultSystem("你现在不是chatGPT了,我希望你以一个java工程师的身份来和我对话，你是一个在卡迪熊公司工作的java开发工程师，你叫小鹏！")
                .build();
    }
}

（7）functionCall功能

目的是可以让其他的应用程序结合GPT使用，可以更精准的返回信息，下面的apply方法就可以调用别的程序，收集信息。

  • 在AIConfig的配置类中加入代码，这里的Description注解就是触发该Function方法的关键字
    @Bean
    @Description("有多少人")
    LocationNameFunction LocationNameFunction() {
        return new LocationNameFunction();
    }
  • 然后再新建一个LocationNameFunction类，通过关键字"有多少人"触发动作，执行类中apply方法
package com.kdx.springai.functions;



import java.util.Objects;
import java.util.function.Function;


public class LocationNameFunction implements Function<LocationNameFunction.Request, LocationNameFunction.Response> {

    @Override
    public Response apply(Request request) {
        if (Objects.isNull(request.location) || Objects.isNull(request.name)) {
            return new Response("缺少参数");
        }

        return new Response("有10个人");
    }

    //接收提取关键信息

    public record Request(
            String name,
            String location) {
        @Override
        public String name() {
            return name;
        }

        @Override
        public String location() {
            return location;
        }
    }

    //最终响应给gpt
    public record Response(String message) {
    }

}
  • 定义接口
	//functionCall
    @RequestMapping(value = "/functionCall", produces = "text/html;charset=UTF-8")
    public String functionCall(@RequestParam(value = "message") String message) {
        OpenAiChatOptions aiChatOptions = OpenAiChatOptions.builder()
                //设置实现了function接口的bean名称
                .withFunction("LocationNameFunction")
                .withModel(OpenAiApi.ChatModel.GPT_3_5_TURBO)
                .build();
        ChatResponse response = chatModel.call(new Prompt(message, aiChatOptions));
        return response.getResult().getOutput().getContent();
    }
  • 测试
    请添加图片描述

（8）如何通过代理的方式访问接口

现在是通过访问国内中转代理的方式，访问GPT的接口，但是怎么直接访问他的接口呢？
可以通过在启动类中加入代理信息。

    public static void main(String[] args) {
        System.setProperty("proxyType", "4");   //类型
        System.setProperty("proxyPort", "7890");    //端口
        System.setProperty("proxyHost", "127.0.0.1");   //ip
        System.setProperty("proxySet", "true");
        SpringApplication.run(SpringAiApplication.class, args);
    }

这个时候yaml文件的url就可以配置https://api.chatanywhere.cn，直接访问了

------------------------------------------------------需要源码，可以留言------------------------------------------------------

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/716877.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

多标签识别：JoyTag模型的图像标注革命【开源】

多标签识别：JoyTag模型的图像标注革命【开源】

公共视觉模型通常会对其训练数据集进行严格过滤&#xff0c;这限制了这些基础模型在广泛概念上的表现&#xff0c;进而限制了表达自由、包容性和多样性。JoyTag通过结合Danbooru 2021数据集和一组手动标记的图像&#xff0c;努力提高模型对不同类型图像的泛化能力。 JoyTag项目…
阅读更多...
Python批量保存Excel文件中的图表为图片

Python批量保存Excel文件中的图表为图片

Excel工作簿作为一款功能强大的数据处理与分析工具&#xff0c;被广泛应用于各种领域&#xff0c;不仅能够方便地组织和计算数据&#xff0c;还支持用户创建丰富多彩的图表&#xff0c;直观展示数据背后的洞察与趋势。然而&#xff0c;在报告编制、网页内容制作或分享数据分析成…
阅读更多...
新办理北京广播电视节目制作许可证需要什么条件

新办理北京广播电视节目制作许可证需要什么条件

在北京想要从事广播电视节目制作&#xff0c;那就需要企业拥有广播电视节目制作经营许可证。此许可证不仅是企业合法经营的基础&#xff0c;同时也是保障节目制作质量和内容合规的标志。如何办理&#xff0c;详情致电咨询我或者来公司面谈。 北京广播电视节目制作经营许可证申请…
阅读更多...
开源项目大合集（热门）

开源项目大合集（热门）

人不走空 &#x1f308;个人主页&#xff1a;人不走空 &#x1f496;系列专栏&#xff1a;算法专题 ⏰诗词歌赋&#xff1a;斯是陋室&#xff0c;惟吾德馨 目录 &#x1f308;个人主页&#xff1a;人不走空 &#x1f496;系列专栏&#xff1a;算法专题 ⏰诗词歌…
阅读更多...
【Python】PySide6使用入门和注意事项

【Python】PySide6使用入门和注意事项

文章目录 前言关于PySide和PyQtQt Designerpyside6在vscode中ui文件转换兼容性问题主程序结构蓝牙协议初探&#xff08;应用层&#xff09; 前言 最近在开发一个带界面的软件&#xff0c;需要使用蓝牙&#xff0c;然后找到一个开源仓库使用的是Qt里面的Qbluetooth模块&#xff…
阅读更多...
「网络原理」IP 协议

「网络原理」IP 协议

&#x1f387;个人主页&#xff1a;Ice_Sugar_7 &#x1f387;所属专栏&#xff1a;计网 &#x1f387;欢迎点赞收藏加关注哦&#xff01; IP 协议 &#x1f349;报头结构&#x1f349;地址管理&#x1f34c;动态分配 IP 地址&#x1f34c;NAT 机制&#xff08;网络地址映射&am…
阅读更多...
AMD平台，5600X+6650XT，虚拟机安装macOS 14(2024年6月)

AMD平台，5600X+6650XT，虚拟机安装macOS 14(2024年6月)

AMD平台安装macOS 14的麻烦&#xff0c;要比Intel平台多的多&#xff0c;由于macOS从13开始&#xff0c;对CPU寄存器的读取进行了改变&#xff0c;导致AMD平台只要安装完macOS 13及以后版本&#xff0c;开机后就报五国语言错误&#xff0c;不断重启。改vmx文件&#xff0c;被证…
阅读更多...
VR虚拟仿真技术模拟还原给水厂内外部结构

VR虚拟仿真技术模拟还原给水厂内外部结构

在厂区的外围&#xff0c;我们采用VR全景拍摄加3D开发建模的方式&#xff0c;还原了每一处细节&#xff0c;让你仿佛置身于现场&#xff0c;感受那份宁静与庄重。 当你踏入厂区&#xff0c;我们为你精心策划了一条游览路线&#xff0c;从门口到各个重要场景&#xff0c;一一为…
阅读更多...
2025年计算机毕业设计题目参考

2025年计算机毕业设计题目参考

今年最新计算机毕业设计题目参考 以下可以参考 springboot洗衣店订单管理系统 springboot美发门店管理系统 springboot课程答疑系统 springboot师生共评的作业管理系统 springboot平台的医疗病历交互系统 springboot购物推荐网站的设计与实现 springboot知识管理系统 springbo…
阅读更多...
Pytorch深度解析：Transformer嵌入层源码逐行解读

Pytorch深度解析：Transformer嵌入层源码逐行解读

前言 本部分博客需要先阅读博客&#xff1a; 《Transformer实现以及Pytorch源码解读&#xff08;一&#xff09;-数据输入篇》 作为知识储备。 Embedding使用方式 如下面的代码中所示&#xff0c;embedding一般是先实例化nn.Embedding(vocab_size, embedding_dim)。实例化的…
阅读更多...
怎么给二维码添加文字或logo？快速美化二维码的使用技巧

怎么给二维码添加文字或logo？快速美化二维码的使用技巧

怎么给已生成的二维码修改样式呢&#xff1f;目前常规生成的二维码大多是普通黑白色的&#xff0c;没有明显的标识不利于用户辨别。想要提升二维码的辨识度可以通过添加logo、添加文字的方式来改变二维码的样式&#xff0c;让用户看到二维码就知道是否是自己需要的内容&#xf…
阅读更多...
智能制造uwb高精度定位系统模块，飞睿智能3厘米定位测距芯片，无人机高速传输

智能制造uwb高精度定位系统模块，飞睿智能3厘米定位测距芯片，无人机高速传输

在科技日新月异的今天&#xff0c;定位技术已经渗透到我们生活的方方面面。从手机导航到自动驾驶&#xff0c;再到无人机定位&#xff0c;都离不开精准的定位系统。然而&#xff0c;随着应用场景的不断拓展&#xff0c;传统的定位技术如GPS、WiFi定位等&#xff0c;因其定位精度…
阅读更多...
【AI基础】大模型部署工具之ollama的安装部署

【AI基础】大模型部署工具之ollama的安装部署

ollama是大模型部署方案&#xff0c;对应docker&#xff0c;本质也是基于docker的容器化技术。 从前面的文章可以看到&#xff0c;部署大模型做的准备工作是比较繁琐的&#xff0c;包括各个环节的版本对应。ollama提供了一个很好的解决方案。 ollama主要针对主流的LLaMA架构的…
阅读更多...
如何使用xurlfind3r查找目标域名的已知URL地址

如何使用xurlfind3r查找目标域名的已知URL地址

关于xurlfind3r xurlfind3r是一款功能强大的URL地址查询工具&#xff0c;该工具本质上是一个CLI命令行工具&#xff0c;可以帮助广大研究人员从多种在线源来查询目标域名的已知URL地址。 功能介绍 1、从被动在线源获取URL地址以实现最大数量结果获取&#xff1b; 2、支持从Way…
阅读更多...
可通过小球进行旋转的十字光标（vtkResliceCursor)

可通过小球进行旋转的十字光标（vtkResliceCursor)

前一段事件看到VTK的一个例子&#xff1a; 该案例是vtk.js写的&#xff0c;觉得很有意思&#xff0c;个人正好也要用到&#xff0c;于是萌生了用C修改VTK源码来实现该功能的想法。原本以为很简单&#xff0c;只需要修改一下vtkResliceCursor就可以了&#xff0c;加上小球&#…
阅读更多...
【面试 - 页面优化举例】页面跳转卡顿问题解决 - 页面跳转速度优化

【面试 - 页面优化举例】页面跳转卡顿问题解决 - 页面跳转速度优化

目录 为何要优化如何优化优化1 - 懒加载优化2 - el-tree 子节点默认不展开 为何要优化 页面A跳转到也页面B时&#xff0c;页面出现卡顿情况&#xff1a; 【问题】页面A → 页面B时&#xff0c;页面B进入到了 created 钩子后过了六七秒才进入到 mounted 钩子&#xff1b;【分析经…
阅读更多...
遗传算法浅理解

遗传算法浅理解

1. 什么是遗传算法&#xff1f; ​ 遗传算法&#xff0c;又称为 Genetic algorithm(GA)Genetic algorithm(GA)。其主要思想就是模拟生物的遗传与变异。它的用途非常广泛&#xff0c;可以用于加速某些求最大或者最小值的算法&#xff08;换句话说就是加速算法收敛&#xff0c;最…
阅读更多...
PV180R1K1T1NMMC派克通轴传动结构柱塞泵

PV180R1K1T1NMMC派克通轴传动结构柱塞泵

PV180R1K1T1NMMC派克通轴传动结构柱塞泵 派克柱塞泵的结构组成部分&#xff1a;柱塞、手把、斜盘、压盘、滑履、泵体、配油盘、传送轴。其优点如下&#xff1a; 1、结构紧凑耐用&#xff0c;具有灵活的安装接口 2、安静的工作 3、效率高 4、降低功耗和减少发热 5、具有“…
阅读更多...
升级到tomcat10和Java 21后，idea控制台system.out.println输出中文乱码问题

升级到tomcat10和Java 21后，idea控制台system.out.println输出中文乱码问题

最近一次性从tomcat 9升级到tomcat 10&#xff0c;同时Java sdk也从1.8升级到21。 升级过程中&#xff0c;当然会遇到很多问题&#xff0c;但是控制台输出中文乱码问题&#xff0c;着实折腾了很久。 1、尝试各种方法 网上说的很多通用方法都试过了&#xff0c;就是不生效。包…
阅读更多...
编码在网络安全中的应用和原理

编码在网络安全中的应用和原理

前言:现在的网站架构复杂&#xff0c;大多都有多个应用互相配合&#xff0c;不同应用之间往往需要数据交互&#xff0c;应用之间的编码不统一&#xff0c;编码自身的特性等都很有可能会被利用来绕过或配合一些策略&#xff0c;造成一些重大的漏洞。 什么是编码&#xff0c;为什…
阅读更多...
最新文章

Copyright @ 2022~2023