使用 EDOT 监测由 OpenAI 提供支持的 Python、Node.js 和 Java 应用程序

作者：来自 Elastic Adrian Cole

Elastic 很自豪地在我们的 Python、Node.js 和 Java EDOT SDK 中引入了 OpenAI 支持。它们为使用 OpenAI 兼容服务的应用程序添加日志、指标和跟踪，而无需任何代码更改。

介绍

去年，我们宣布了 OpenTelemetry（又名 Elastic Distribution of OpenTelemetry - EDOT）语言 SDK 的 Elastic 分发，它可以从应用程序收集日志、跟踪和指标。当宣布这一消息时，我们还不支持 OpenAI 等大型语言模型 (LLM) 提供商。这限制了开发人员对生成式人工智能 (GenAI) 应用程序的洞察力。

在之前的文章中，我们回顾了 LLM 可观察性的重点，例如 token 使用情况、聊天延迟以及了解你的应用程序使用哪些工具（如 DuckDuckGo）。通过正确的日志、跟踪和指标，开发人员可以回答诸如 “Which version of a model generated this response? - 哪个版本的模型生成了此响应？”之类的问题。或 “What was the exact chat prompt created by my RAG application? - 我的 RAG 应用程序创建的聊天提示的具体是什么？”

在过去的六个月中，Elastic 与 OpenTelemetry 社区的其他成员一起投入了大量精力来共享这些领域的规范，包括收集 LLM 相关日志、指标和跟踪的代码。我们的目标是扩展 EDOT 为 GenAI 用例带来的零代码（代理）方法。

今天，我们宣布了 EDOT 语言 SDK 中的第一个 GenAI 仪器功能：OpenAI。下面，你将看到如何使用我们的 Python、Node.js 和 Java EDOT SDK 观察 GenAI 应用程序。

示例应用程序

我们中的许多人可能熟悉 ChatGPT，它是 OpenAI GPT 模型系列的前端。使用这个，你可以提出一个问题，助手可能会根据你问的问题和 LLM 所训练的文本正确地回答。

以下是 ChatGPT 回答的一个深奥问题的示例：

我们的示例应用程序将简单地询问这个预定义的问题并打印结果。我们将使用三种语言编写它：Python、JavaScript 和 Java。

我们将采用“零代码”（代理）方法执行每个操作，以便在配置了 Kibana 和 APM 服务器的 Elastic Stack 中捕获和查看日志、指标和跟踪。如果你尚未运行堆栈，请使用 ElasticSearch Labs 的说明进行设置。

无论编程语言是什么，都需要三个变量：OpenAI API 密钥、Elastic APM 服务器的位置以及应用程序的服务名称。你将把这些写入名为 .env 的文件中。

OPENAI_API_KEY=sk-YOUR_API_KEY
OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:8200
OTEL_SERVICE_NAME=openai-example

每次应用程序运行时，它都会将日志、跟踪和指标发送到 APM 服务器，你可以通过像这样查询 Kibana 来找到应用程序 “openai-example”

http://localhost:5601/app/apm/services/openai-example/transactions

当你选择一个跟踪时，你将看到 OpenAI SDK 发出的 LLM 请求，以及由此引起的 HTTP 流量：

选择 logs 选项卡来查看对 OpenAI 的确切请求和响应。这些数据对于问答和评估用例至关重要。

你还可以转到 Metrics Explorer 并在运行应用程序的所有时间内绘制 “gen_ai.client.token.usage” 或 “gen_ai.client.operation.duration” 的图表：

http://localhost:5601/app/metrics/explorer

继续查看该应用程序在 Python、Java 和 Node.js 中的具体外观和运行方式。那些已经使用我们的 EDOT 语言 SDK 的人将会熟悉它的工作原理。

Python

假设你已经安装了 python，那么第一件事就是设置一个虚拟环境并安装所需的软件包：OpenAI 客户端、用于读取 .env 文件的辅助工具和我们的 EDOT Python 包：

python3 -m venv .venv
source .venv/bin/activate
pip install openai "python-dotenv[cli]" elastic-opentelemetry

接下来，运行 edot-bootstrap，它将分析代码以安装任何可用的相关工具：

edot-bootstrap —-action=install

现在，创建你的 .env 文件，如本文前面所述，以及 chat.py 中的以下源代码

import os

import openai

CHAT_MODEL = os.environ.get("CHAT_MODEL", "gpt-4o-mini")


def main():
  client = openai.Client()

  messages = [
    {
      "role": "user",
        "content": "Answer in up to 3 words: Which ocean contains Bouvet Island?",
    }
  ]

  chat_completion = client.chat.completions.create(model=CHAT_MODEL, messages=messages)
  print(chat_completion.choices[0].message.content)

if __name__ == "__main__":
  main()

现在你可以使用以下命令运行所有内容：

dotenv run -- opentelemetry-instrument python chat.py

最后，在 Kibana 中查找名为 “openai-example” 的服务的跟踪。你应该会看到一个名为 “chat gpt-4o-mini” 的交易。

你无需复制/粘贴上述内容，而是可以在此处的 Python EDOT 存储库中找到此示例的工作副本（以及说明）。

最后，如果你想尝试更全面的示例，请查看使用 OpenAI 和 ElasticSearch 的 Elser 检索模型的 chatbot-rag-app。

Java

初始化 Java 项目有几种流行的方法。由于我们使用的是 OpenAI，第一步是配置依赖项 com.openai:openai-java 并将以下源代码写为 Chat.java。

package openai.example;

import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.*;


final class Chat {

  public static void main(String[] args) {
    String chatModel = System.getenv().getOrDefault("CHAT_MODEL", "gpt-4o-mini");

    OpenAIClient client = OpenAIOkHttpClient.fromEnv();

    String message = "Answer in up to 3 words: Which ocean contains Bouvet Island?";
    ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
        .addMessage(ChatCompletionUserMessageParam.builder()
          .content(message)
          .build())
        .model(chatModel)
        .build();

    ChatCompletion chatCompletion = client.chat().completions().create(params);
    System.out.println(chatCompletion.choices().get(0).message().content().get());
  }
}

构建项目使得所有依赖项都在一个 jar 中。例如，如果使用 Gradle，你将使用 com.gradleup.shadow 插件。

接下来，如前所述，创建 .env 文件，并下载我们将用来加载它的 shdotenv。

curl -O -L https://github.com/ko1nksm/shdotenv/releases/download/v0.14.0/shdotenv
chmod +x ./shdotenv

此时，你有一个 jar 和配置，可以用来运行 OpenAI 示例。下一步是下载 EDOT Java javaagent 二进制文件。这是记录和导出日志、指标和跟踪的部分。

curl -o elastic-otel-javaagent.jar -L 'https://oss.sonatype.org/service/local/artifact/maven/redirect?r=snapshots&g=co.elastic.otel&a=elastic-otel-javaagent&v=LATEST'

假设你组装了一个名为 openai-example-all.jar 的文件，请使用 EDOT 运行它，如下所示：

./shdotenv java -javaagent:elastic-otel-javaagent.jar -jar openai-example-all.jar

最后，在 Kibana 中查找名为 “openai-example” 的服务的跟踪。你应该会看到一个名为 “chat gpt-4o-mini” 的交易。

你无需复制/粘贴上述内容，而是可以在此处的 EDOT Java 源代码存储库中找到此示例的工作副本。

Node.js

假设你已经安装并配置了 npm，请运行以下命令来初始化示例项目。这包括 openai 包和 @elastic/opentelemetry-node (EDOT Node.js)

npm init -y
npm install openai @elastic/opentelemetry-node

接下来，创建 .env 文件，如本文前面所述以及 index.js 中的以下源代码：

const {OpenAI} = require('openai');

let chatModel = process.env.CHAT_MODEL ?? 'gpt-4o-mini';

async function main() {
 const client = new OpenAI();
 const completion = await client.chat.completions.create({
  model: chatModel,
  messages: [
   {
    role: 'user',
    content: 'Answer in up to 3 words: Which ocean contains Bouvet Island?',
   },
  ],
 });
 console.log(completion.choices[0].message.content);
}

main();

有了这个，使用 EDOT 运行上述源，如下所示：

node --env-file .env --require @elastic/opentelemetry-node index.js

最后，在 Kibana 中查找名为 “openai-example” 的服务的跟踪。你应该会看到一个名为 “chat gpt-4o-mini” 的交易。

你无需复制/粘贴上述内容，就可以在此处的 EDOT Node.js 源存储库中找到此示例的工作副本。

最后，如果你想尝试一个更全面的示例，请查看 openai-embeddings，它使用 OpenAI 和 Elasticsearch 作为向量数据库！

结束语

以上你已经了解了如何使用 OpenTelemetry 的弹性分布 (EDOT) 以三种不同的语言观察官方 OpenAI SDK。

值得注意的是，一些 OpenAI SDK 以及围绕生成式 AI 的 OpenTelemetry 规范都是实验性的。如果你发现这对你有帮助，或者发现故障，请加入我们的 Slack 并让我们知道。

通过设置 OPENAI_BASE_URL 并选择相关模型，多个 LLM 平台可以接受来自 OpenAI 客户端 SDK 的请求。在开发过程中，我们测试了 Azure OpenAI 服务并使用 Ollama 进行集成测试。事实上，我们将代码贡献给 Ollama 以改进其 OpenAI 支持。无论你选择哪种 OpenAI 兼容平台，我们都希望这个新工具可以帮助你了解 LLM 的使用情况。

最后，虽然第一个搭载 EDOT 的生成式 AI SDK 是 OpenAI，但你很快就会看到更多。我们已经在 Bedrock 上开展工作，并与 OpenTelemetry 社区的其他人合作开发其他平台。请继续关注此博客以获取令人兴奋的更新。

原文：Instrumenting your OpenAI-powered Python, Node.js, and Java Applications with EDOT — Elastic Observability Labs