基于Tools体验NLP编程的魅力

大模型能理解自然语言,从而能解决问题,但是就像人类大脑一样,大脑只能发送指令,实际行动得靠四肢,所以LangChain4j提供的Tools机制就是大模型的四肢。

大模型的不足

大模型在解决问题时,是基于互联网上很多历史资料进行预测的,而且答案具有一定的随机性,那如果我问"今天是几月几号?",大模型是大概率答错的,因为大模型肯定还没有来得及学习今天所产生的最新资料。

比如:

package com.timi;

import dev.langchain4j.model.chat.ChatLanguageModel;
import dev.langchain4j.model.openai.OpenAiChatModel;

public class _04_Toos {

    public static void main(String[] args) {

        ChatLanguageModel model = OpenAiChatModel.builder()
                .baseUrl("http://langchain4j.dev/demo/openai/v1")
                .apiKey("demo")
                .build();


        System.out.println(model.generate("今天是几月几号?"));

    }
}

代码执行结果为:

今天是十二月十九号。

多执行几次,每次执行结果很有可能不一样,所以如果要求大模型处理时间相关的问题,它就无能为力了。

因此,我们扩展一下,出现这种情况的原因是ChatGPT是基于历史数据来进行预测的,它没办法拿到当前最新的数据,比如说时间,从而限制了它的进一步使用,那么LangChain4j的Tools机制就能够帮助大模型来获取当前最新的数据,从而解决上述时间相关的问题。

由于LangChain4j提供的"demo"不支持Tools机制,需要大家自行获取OpenAI的ApiKey,或者找一些OpenAI的代理来间接的调用OpenAI的API。

ToolSpecification

首先需要定义一个工具,其实就是一个方法,用来返回当前日期,并且通过@Tool注解来描述该工具,从而使得大模型在需要获取当前时间时能够调用该工具方法得到当前时间:

@Tool("获取当前日期")
public static String dateUtil(){
	return LocalDateTime.now().toString();
}

然后将工具方法转成ToolSpecification对象,并传递给大模型:

package com.timi;

import dev.langchain4j.agent.tool.Tool;
import dev.langchain4j.agent.tool.ToolSpecification;
import dev.langchain4j.agent.tool.ToolSpecifications;
import dev.langchain4j.data.message.AiMessage;
import dev.langchain4j.data.message.UserMessage;
import dev.langchain4j.model.chat.ChatLanguageModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import dev.langchain4j.model.output.Response;

import java.time.LocalDateTime;
import java.util.Collections;

public class _04_Tools {

    @Tool("获取当前日期")
    public static String dateUtil(){
        return LocalDateTime.now().toString();
    }

    public static void main(String[] args) throws NoSuchMethodException {

        ChatLanguageModel model = OpenAiChatModel.builder()
                .baseUrl("http://localhost:3000/v1")
                .apiKey("sk-peszVtFXoLnWK45bB15370Df6f344cAa9a088eF50f9c7302")
                .build();


        ToolSpecification toolSpecification = ToolSpecifications.toolSpecificationFrom(_04_Tools.class.getMethod("dateUtil"));

        UserMessage userMessage = UserMessage.from("今天是几月几号?");

        Response<AiMessage> response = model.generate(Collections.singletonList(userMessage), toolSpecification);

        System.out.println(response.content());
    }
}

所以,一个ToolSpecification对象就代表一个工具,当用户把要问题UserMessage和工具ToolSpecification一起传递给大模型,大模型就知道要结合工具描述来解决用户的问题,此时大模型响应的AiMessage不再是一串文本,而是:

AiMessage { text = null toolExecutionRequests = [ToolExecutionRequest { id = "call_IPiiRjIM5PmVdDWjpXcUN5c7", name = "dateUtil", arguments = "{}" }] }

一个ToolExecutionRequest,表示一个工具执行请求,表示大模型在解决问题时,需要调用工具来解决用户的问题,由于我们可能传了多个工具给大模型,所以toolExecutionRequests是一个List,表示为了解决用户的问题需要调用哪些工具。

所以,我们在得到了ToolExecutionRequest后,就需要取执行对应的工具方法了,其中ToolExecutionRequest的name属性就是方法名,arguments就表示要传递给方法的参数值:

Response<AiMessage> response = model.generate(Collections.singletonList(userMessage), toolSpecification);

AiMessage aiMessage = response.content();
if (aiMessage.hasToolExecutionRequests()) {
	for (ToolExecutionRequest toolExecutionRequest : aiMessage.toolExecutionRequests()) {
		String methodName = toolExecutionRequest.name();
		Method method = _04_Tools.class.getMethod(methodName);

		// result就是当前时间
		String result = (String) method.invoke(null);
		System.out.println(result);
	}
}

此时的输出结果为:

2024-03-24T11:37:02.618942

这就是大模型想要的当前时间,相当于是ToolExecutionRequest的响应结果,那我们该如何把这个响应结果告诉给大模型,从而让大模型告诉我“今天是几月几号?”呢?

前面在介绍ChatMessage类型时,除开有UserMessage、AiMessage、SystemMessage之外,还有一种类型就是ToolExecutionResultMessage,因此ToolExecutionResultMessage就表示工具执行结果,所以我们把工具的执行结果封装为ToolExecutionResultMessage即可:

ToolExecutionResultMessage toolExecutionResultMessage = ToolExecutionResultMessage.from(toolExecutionRequest.id(), toolExecutionRequest.name(), result);

然后使用历史对话的思想,把以上用户和大模型之间涉及到的ChatMessage按顺序添加到List中发送给大模型即可:

ToolExecutionResultMessage toolExecutionResultMessage = ToolExecutionResultMessage.from(toolExecutionRequest.id(), toolExecutionRequest.name(), result);

AiMessage message = model.generate(Lists.newArrayList(userMessage, aiMessage, toolExecutionResultMessage)).content();
System.out.println(message.text());

这样大模型就能正确的告诉当前时间了:

今天是2024324日。

AiServices整合Tools

以上使用Tools的方式有点复杂,如果大模型要解决一个复杂问题需要调用多个工具或多轮工具调用,以上代码就更不合适了,而AiServices能简化这个过程。

假如有这么一个需求:获取今天注册的所有新用户信息,对于这个需求我们可以这么来实现。

首先定义一个User对象:

static class User {
	private String username;
	private Integer age;

	public User(String username, Integer age) {
		this.username = username;
		this.age = age;
	}
}

然后定义两个Tools:

static class MyTools {
	@Tool("获取当前日期")
	public static String dateUtil(String onUse) {
		return LocalDateTime.now().toString();
	}

	@Tool("获取指定日期注册的用户信息")
	public static List<User> getUserInfo(String date) {
		System.out.println("接收到的date参数的值:" + date);
		User user1 = new User("司马懿", 18);
		User user2 = new User("曹操", 18);
		return Lists.newArrayList(user1, user2);
	}
}

一个用来获取当前时间,一个接收当前时间并返回用户信息。

再定义一个UserService接口:

interface UserService {

	@SystemMessage("先获取具体日期,然后再解决用户问题")
	String getUserInfo(String desc);
}

然后利用AiServices创建UserService接口的代理对象:

public static void main(String[] args) {

	ChatLanguageModel model = ZhipuAiChatModel
		.builder()
		.apiKey("0f4d2b0e8d95f48e6e1f138b881d0a53.UkIov25cJBSvjFDo")
		.build();

	UserService userService = AiServices.builder(UserService.class).chatLanguageModel(model)
		.tools(new MyTools())
		.chatMemory(MessageWindowChatMemory.withMaxMessages(10))
		.build();

	String userInfo = userService.getUserInfo("获取今天的注册的新用户信息");
	System.out.println(userInfo);

}

并执行getUserInfo()方法,传入你的描述信息就可以获取到User信息了。比如以上代码的执行结果为:

接收到的date参数的值:2024-04-21
2024420日注册的用户有司马懿和曹操,他们的年龄都是18岁。

源码分析

在代理对象的invoke()方法中,以下代码会去调用大模型的底层API:

Response<AiMessage> response = context.toolSpecifications == null
	? context.chatModel.generate(messages)
	: context.chatModel.generate(messages, context.toolSpecifications);

当指定了Tools时,就会调用context.chatModel.generate(messages, context.toolSpecifications),我们debug来看下返回结果:
image.png
第一次响应是一个ToolExecutionRequest工具执行请求,name为"now",表示要执行now()方法,也就是获取当前时间,然后会执行如下代码:

for (ToolExecutionRequest toolExecutionRequest : aiMessage.toolExecutionRequests()) {

	// 执行工具
	ToolExecutor toolExecutor = context.toolExecutors.get(toolExecutionRequest.name());
	// 工具执行结果
	String toolExecutionResult = toolExecutor.execute(toolExecutionRequest, memoryId);

	// 把工具执行请求和结果封装为ToolExecutionResultMessage
	ToolExecutionResultMessage toolExecutionResultMessage = ToolExecutionResultMessage.from(
		toolExecutionRequest,
		toolExecutionResult
	);

	// 添加到ChatMemory中
	chatMemory.add(toolExecutionResultMessage);
}

然后执行以下代码,再次请求大模型,此时ChatMemory中包含了第一次工具请求的结果:

response = context.chatModel.generate(chatMemory.messages(), context.toolSpecifications);

这一次得到的响应是:
image.png
仍然是一个工具执行请求,只不过方法时getUserInfo()方法,并且入参为上一步工具调用的结果,然后和上面类似,处理该工具执行请求,也就是执行getUserInfo()方法得到工具执行结果,同样再次把第二次的工具执行请求和结果封装为ToolExecutionResultMessage,并添加到ChatMemory中,此时ChatMemory中的内容为:
image.png
依次为:用户的问题、第一次工具执行请求和结果、第二次工具执行请求和结果。

把最终的ChatMemory发送给大模型之后,大模型就知道了今天注册的新用户信息有哪些了,就会把结果返回给你:
image.png
基于此,我们其实打通了大模型和我们系统内部数据之间的桥梁,使得大模型能够调用我们提供的工具来获取系统内部的最新数据,而我们可以更进一步让大模型基于这些数据来做更智能的事情,比如:

需求改为:“获取今天注册的新用户信息,然后基于这些用户发送一份邮件”,我们只需要再定义一个发送邮件Tool就可以了:

@Tool("给指定用户发送邮件")
public void email(String user) {
	System.out.println("发送邮件:" + user);
}

然后:

List<User> users = userService.getUserInfo("获取今天注册的新用户信息,然后基于这些用户发送一份邮件");

代码执行结果为:

接收到的date参数的值:2024-04-21
发送邮件:司马懿,曹操
今天注册的用户有司马懿和曹操,已经给他们发送了一份邮件。

通过这个Demo,我们发现,我们可以利用自然语言来整合各项系统功能,这将是一种新的编程模式:自然语言编程。

本节总结

本节我们学习了LangChain4j中的Tools机制,通过Tools机制可以通过自然语言整合大模型和系统内部功能,使得大模型这个智能大脑拥有了灵活的四肢,从而可以处理更复杂的场景,同时也感受到了自然语言编程离我们越来越近了,下一节我们将学习文本向量化以及向量模型、向量数据库,这是检索增强生成(RAG)的基础。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/762672.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

昇思25天学习打卡营第13天|BERT

一、简介&#xff1a; BERT全称是来自变换器的双向编码器表征量&#xff08;Bidirectional Encoder Representations from Transformers&#xff09;&#xff0c;它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自…

6.x86游戏实战-C++实现跨进程读写-通过基址读取人物状态标志位

免责声明&#xff1a;内容仅供学习参考&#xff0c;请合法利用知识&#xff0c;禁止进行违法犯罪活动&#xff01; 本次游戏没法给 内容参考于&#xff1a;微尘网络安全 上一个内容&#xff1a;5.x86游戏实战-CE定位基地址 上一个内容找出了人物状态标志位的基址&#xff0…

ROS学习笔记(17):建图与定位(1)

目录 0.前言 1.定位和建图 1.里程计&#xff08;Odometry&#xff09; 2.扫描匹配&#xff08;Scan Matching&#xff09; 3.结尾 0.前言 好久不见各位&#xff0c;前段时间忙着考试&#xff08;6级和一些专业课&#xff09;和摆烂断更了近30天&#xff0c;现在哥们回来更…

python爬虫之scrapy框架基本使用

python爬虫之scrapy框架基本使用 1、环境安装&#xff1a;pip install scrapy 2、创建一个工程&#xff1a;scrapy startproject xxxPro 3、cd xxxPro 4、在spiders子目录中创建一个爬虫文件&#xff1a;scrapy genspider spiderName www.xxx.com 5、执行工程&#xff1a;scra…

《安全大模型技术与市场研究报告》发布,海云安榜上有名

近日&#xff0c;网络安全产业研究机构“数说安全”发布2024《安全大模型技术与市场研究报告》&#xff08;以下简称“报告”&#xff09;。 海云安凭借在开发安全领域的优秀业务能力以及在大模型相关技术研究方面的成就得到了认可&#xff0c;入选“安全开发大模型推荐供应商”…

【PYTORCH,TENSORFLOW环境配置,安装,自用代码】

conda -V&#xff08;查看版本&#xff0c;这步不要也罢&#xff09; conda create -n test python3.7&#xff08;创建环境&#xff09; conda activate test&#xff08;激活&#xff09; conda env list&#xff08;查看自己的环境&#xff09; nvidia-smi&#xff08;查…

钉钉开放AI生态战略的真正价值到底是什么?很多人都没看懂

来源&#xff1a; 首席数智官 hello 大家好&#xff0c;我们是数字化领军者都在看的首席数智官。 关注我&#xff0c;每天给你讲一个商业案例。 今天我们要给你讲的是&#xff1a;钉钉开放AI大模型生态的战略意义到底是什么&#xff1f; 「谁先赢得苹果&#xff0c;谁就赢得…

技术派全局异常处理

前言 全局的异常处理是Java后端不可或缺的一部分&#xff0c;可以提高代码的健壮性和可维护性。 在我们的开发中&#xff0c;总是难免会碰到一些未经处理的异常&#xff0c;假如没有做全局异常处理&#xff0c;那么我们返回给用户的信息应该是不友好的&#xff0c;很抽象的&am…

【机器学习】基于Transformer的迁移学习:理论与实践

引言 在机器学习领域&#xff0c;迁移学习已成为提升模型训练效率和性能的重要策略&#xff0c;特别是在标注数据稀缺的场景下。Transformer模型自2017年由Google提出以来&#xff0c;在自然语言处理&#xff08;NLP&#xff09;领域取得了突破性进展&#xff0c;并逐渐扩展到…

【深度学习】调整加/减模型用于体育运动评估

摘要 一种基于因果关系的创新模型&#xff0c;名为调整加/减模型&#xff0c;用于精准量化个人在团队运动中的贡献。该模型基于明确的因果逻辑&#xff0c;将个体运动员的价值定义为&#xff1a;在假设情景下&#xff0c;用一名价值为零的球员替换该球员后&#xff0c;预期比赛…

Django 一对多关系

1&#xff0c;创建 Django 应用 Test/app9 django-admin startapp app9 2&#xff0c;注册应用 Test/Test/settings.py 3&#xff0c;添加应用路由 Test/Test/urls.py from django.contrib import admin from django.urls import path, includeurlpatterns [path(admin/,…

idea修改静态资源,不重启idea直接生效方法

1、Run->Edit Configurations 2、按下图选中 3、点ok&#xff0c;之后修改静态资源后点非idea界面&#xff08;如状态栏&#xff09;&#xff0c;就会自动配置了。

GPT-4o文科成绩超一本线,理科为何表现不佳?

目录 01 评测榜单 02 实际效果 什么&#xff1f;许多大模型的文科成绩竟然超过了一本线&#xff0c;还是在竞争激烈的河南省&#xff1f; 没错&#xff0c;最近有一项大模型“高考大摸底”评测引起了广泛关注。 河南高考文科今年的一本线是521分&#xff0c;根据这项评测&…

7-1作业

1.实验目的&#xff1a;完成字符收发 led.h #ifndef __GPIO_H__ #define __GPIO_H__#include "stm32mp1xx_rcc.h" #include "stm32mp1xx_gpio.h" #include "stm32mp1xx_uart.h"//RCC,GPIO,UART初始化 void init();//字符数据发送 void set_tt…

Chapter 8 Feedback

Chapter 8 Feedback 这一章我们介绍feedback 反馈运放的原理. 负反馈是模拟电路强有力的工具. 8.1 General Considerations 反馈系统如下图所示 Aolamp open-loop gain即开环增益. Aolxo/xi β \beta β 是 feedback factor, 注意方向. β x f x o \beta\frac{x_{f}}{x_{o…

六西格玛绿带培训的证书有什么用处?

近年来&#xff0c;六西格玛作为一套严谨而系统的质量管理方法&#xff0c;被广泛运用于各行各业。而六西格玛绿带培训证书&#xff0c;作为这一方法论中基础且重要的认证&#xff0c;对于个人和企业而言&#xff0c;都具有不可忽视的价值。本文将从多个角度深入探讨六西格玛绿…

HTML5+CSS3+JS小实例:图片九宫格

实例:图片九宫格 技术栈:HTML+CSS+JS 效果: 源码: 【HTML】 <!DOCTYPE html> <html lang="zh-CN"> <head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1…

智慧渔港:海域感知与岸线监控实施方案(智慧渔港渔船综合管控平台)

文章目录 引言I 技术栈1.1 物理结构图1.2 功能逻辑结构图II 云台(大华)2.1 设备网络SDK运行在Mac平台2.2 WEB无插件开发包III 术语3.1 渔业引言 利用渔船现有的定位导航通讯设备等资源,实现岸线和近岸海域内违法船舶和可疑船舶预警、抓拍、跟踪和行为分析。 在渔船上安装风…

HCIA4.26-5.10

OSPF ——开放式最短路径优先协议 无类别链路状态IGP动态路由协议 距离矢量协议 运行距离矢量协议的路由器会周期性的泛洪自己的路由表&#xff0c;通过路由之间的交互&#xff0c;每台路由器都从相邻的路由器学习到路由条目&#xff0c;随后加载进自己的路由表中。对于网络…

解锁跨境电商新边界:Temu API接口深度解析引言

引言 在竞争激烈的跨境电商领域&#xff0c;高效、精准的数据获取成为商家制胜的关键。Temu&#xff08;拼多多跨境电商&#xff09;作为行业内的新秀&#xff0c;其API接口服务为商家提供了强大的数据交互能力&#xff0c;尤其是其获取商品详情的核心功能&#xff0c;更是为商…