使用 Node.js 和 Azure Function App 自动更新 Elasticsearch 索引

作者：来自 Elastic Jessica Garson

维护最新数据至关重要，尤其是在处理频繁变化的动态数据集时。这篇博文将指导你使用 Node.js 加载数据，并通过定期更新确保数据保持最新。我们将利用 Azure Function Apps 的功能来自动执行这些更新，从而确保你的数据集始终是最新且可靠的。

对于这篇博文，我们将使用 Near Earth Object Web 服务 (NeoWs)，这是一种 RESTful Web 服务，提供有关近地小行星的详细信息。通过将 NeoWs 与作为 Azure 无服务器函数集成的 Node.js 服务集成，此示例将为你提供一个强大的框架来有效处理管理动态数据的复杂性。这种方法将帮助你最大限度地降低使用过时信息的风险，并最大限度地提高数据的准确性和实用性。

先决条件

  • 此示例使用 Elasticsearch 版本 8.13；如果你是 Elasticsearch 新手，请查看我们的 Elasticsearch 快速入门。任何 8.0 版本都适用于此博客文章。
  • 下载最新的 NPM 和 Node.js 版本。本教程使用 Node v21.6.1 和 npm 10.5.0。
  • NASA API 的 API 密钥。
  • 具有创建 Function App 权限的有效 Azure 帐户。
  • 访问 Azure 门户或 Azure CLI

本地设置

在开始索引和本地加载数据之前，设置环境至关重要。首先，创建一个目录并初始化它。然后，下载必要的软件包并创建一个 .env 文件来存储你的配置设置。此初步设置可确保你的本地环境已准备好有效处理数据。

mkdir Introduction-to-Data-Loading-in-Elasticsearch-with-Nodejs
cd Introduction-to-Data-Loading-in-Elasticsearch-with-Nodejs
npm init

你将使用 Elasticsearch nodejs 客户端连接到 Elastic，使用 Axios 连接到 NASA API，使用 dotenv 解析你的凭据（secrets）。你需要运行以下命令下载所需的软件包：

npm install @elastic/elasticsearch axios dotenv

下载所需的软件包后，你可以在项目目录的根目录中创建一个 .env 文件。.env 文件允许你在本地保护你的凭据。查看示例 .env 文件以了解更多信息。要了解有关连接到 Elasticsearch 的更多信息，请务必查看有关该主题的文档。

要创建 .env 文件，你可以在项目根目录中使用此命令：

touch .env

在你的 .env 中，请确保输入以下内容。请确保添加完整的端点：

ELASTICSEARCH_ENDPOINT="https://...."
ELASTICSEARCH_API_KEY="YOUR_ELASTICSEARCh_API_KEY"
NASA_API_KEY="YOUR_NASA_API_KEY"

你还需要创建一个新的 JavaScript 文件：

touch loading_data_into_a_index.js

创建索引并加载数据

现在你已经设置了正确的文件结构并下载了所需的包，你可以创建一个脚本来创建索引并将数据加载到索引中。如果你在此过程中遇到困难，请务必查看本节中创建的文件的完整版本。

在文件 loading_data_into_a_index.js 中，配置 dotenv 包以使用存储在 .env 文件中的密钥和令牌。你还应该导入 Elasticsearch 客户端以连接到 Elasticsearch 和 Axios 并发出 HTTP 请求。

require('dotenv').config();

const { Client } = require('@elastic/elasticsearch');
const axios = require('axios');

由于你的密钥和令牌当前存储为环境变量，你将需要检索它们并创建客户端来向 Elasticsearch 进行身份验证。

const elasticsearchEndpoint = process.env.ELASTICSEARCH_ENDPOINT;
const elasticsearchApiKey = process.env.ELASTICSEARCH_API_KEY;
const nasaApiKey = process.env.NASA_API_KEY;

const client = new Client({
  node: elasticsearchEndpoint,
  auth: {
    apiKey: elasticsearchApiKey
  }
});

你可以开发一个函数来异步检索 NASA 的 NEO（Near Earth Object - 近地天体）Web 服务中的数据。首先，你需要为 NASA API 请求配置基本 URL，并创建今天和上周的日期对象以建立查询周期。将这些日期格式化为 API 请求所需的 YYYY-MM-DD 格式后，将日期设置为查询参数并向 NASA API 执行 GET 请求。此外，该函数还包括错误处理机制，以便在出现任何问题时帮助进行调试。

async function fetchNasaData() {
  const url = "https://api.nasa.gov/neo/rest/v1/feed";
  const today = new Date();
  const lastWeek = new Date(today);
  lastWeek.setDate(today.getDate() - 7);

  const startDate = lastWeek.toISOString().split('T')[0];
  const endDate = today.toISOString().split('T')[0];
  const params = {
    api_key: nasaApiKey,
    start_date: startDate,
    end_date: endDate,
  };

  try {
    const response = await axios.get(url, { params });
    return response.data;
  } catch (error) {
    console.error('Error fetching data from NASA:', error);
    return null;
  }
}

现在，你可以创建一个函数，将 NASA API 中的原始数据转换为结构化格式。由于你返回的数据目前嵌套在复杂的 JSON 响应中。更直接的对象数组使处理数据变得更容易。

function createStructuredData(response) {
  const allObjects = [];
  const nearEarthObjects = response.near_earth_objects;

  Object.keys(nearEarthObjects).forEach(date => {
    nearEarthObjects[date].forEach(obj => {
      const simplifiedObject = {
        close_approach_date: date,
        name: obj.name,
        id: obj.id,
        miss_distance_km: obj.close_approach_data.length > 0 ? obj.close_approach_data[0].miss_distance.kilometers : null,
      };

      allObjects.push(simplifiedObject);
    });
  });

  return allObjects;
}

你将需要创建一个索引来存储来自 API 的数据。Elasticsearch 中的索引是你可以将数据存储在文档中的地方。在此函数中，你将检查索引是否存在，并在需要时创建一个新索引。你还将为索引指定正确的字段映射。此函数还将数据作为文档加载到索引中，并将 NASA 数据中的 id 字段映射到 Elasticsearch 中的 _id 字段。

async function indexDataIntoElasticsearch(data) {
  const indexExists = await client.indices.exists({ index: 'nasa-node-js' });
  if (!indexExists.body) {
    await client.indices.create({
      index: 'nasa-node-js',
      body: {
        mappings: {
          properties: {
            close_approach_date: { type: 'date' },
            name: { type: 'text' },
            miss_distance_km: { type: 'float' },
          },
        },
      },
    });
  }

  const body = data.flatMap(doc => [{ index: { _index: 'nasa-node-js', _id: doc.id } }, doc]);
  await client.bulk({ refresh: false, body });
}

你需要创建一个主函数来获取、构造和索引数据。此函数还将打印出正在上传的记录数，并记录数据是否已编入索引、是否没有要编入索引的数据，或者是否无法从 NASA API 获取数据。创建 run 函数后，你需要调用该函数并捕获可能出现的任何错误。

async function run() {
  const rawData = await fetchNasaData();
  if (rawData) {
    const structuredData = createStructuredData(rawData);
    console.log(`Number of records being uploaded: ${structuredData.length}`);
    if (structuredData.length > 0) {
      await indexDataIntoElasticsearch(structuredData);
      console.log('Data indexed successfully.');
    } else {
      console.log('No data to index.');
    }
  } else {
    console.log('Failed to fetch data from NASA.');
  }
}

run().catch(console.error);

你现在可以通过运行以下命令从命令行运行该文件：

node loading_data_into_a_index.js

要确认你的索引已成功加载，你可以通过执行以下 API 调用来检查 Elastic Dev Tools：

GET /nasa-node-js/_search

使用 Azure 函数应用程序保持数据更新

现在你已成功将数据加载到本地索引中，但这些数据很快就会过时。为确保你的信息保持最新，你可以设置 Azure 函数应用程序以自动每天获取新数据并将其上传到 Elasticsearch 索引。

第一步是在 Azure 门户中配置你的函数应用程序。Azure 快速入门指南是入门的有用资源。

设置函数后，你可以确保已为 ELASTICSEARCH_ENDPOINT、ELASTICSEARCH_API_KEY 和 NASA_API_KEY 设置环境变量。在函数应用程序中，环境变量称为应用程序设置（Application settings）。在函数应用程序中，单击左侧面板中 “Configuration” 下的 “Settings” 选项。在 “Application settings” 选项卡下，单击“+ New application setting”。

你还需要确保安装了所需的库。如果你转到 Azure 门户上的终端，可以通过输入以下内容来安装必要的软件包：

npm install @elastic/elasticsearch axios

你正在安装的软件包看起来应该与之前的安装非常相似，只是你将使用 moment 来解析日期，并且你不再需要加载 env 文件，因为你只需将 secrets 设置为应用程序设置即可。

你可以单击 create 的位置以在函数应用程序中创建新函数，选择名为 “Timer trigger”” 的模板。现在你将拥有一个名为 function.json 的文件。你需要将其调整为如下所示，以便每天上午 10 点运行此应用程序。

{
    "bindings": [
      {
        "name": "myTimer",
        "type": "timerTrigger",
        "direction": "in",
        "schedule": "0 0 10 * * *"
      }
    ]
  }

你还需要上传 package.json 文件并确保其显示如下：

{
  "name": "introduction-to-data-loading-in-elasticsearch-with-nodejs",
  "version": "1.0.0",
  "description": "A simple script for loading data in Elasticsearch",
  "main": "loading_data_into_a_index.js",
  "scripts": {
    "test": "echo \"Error: no test specified\" && exit 1"
  },
  "repository": {
    "type": "git",
    "url": "git+https://github.com/JessicaGarson/Introduction-to-Data-Loading-in-Elasticsearch-with-Nodejs.git"
  },
  "author": "Jessica Garson",
  "license": "Apache-2.0",
  "bugs": {
    "url": "https://github.com/JessicaGarson/Introduction-to-Data-Loading-in-Elasticsearch-with-Nodejs/issues"
  },
  "homepage": "https://github.com/JessicaGarson/Introduction-to-Data-Loading-in-Elasticsearch-with-Nodejs#readme",
  "dependencies": {
    "@elastic/elasticsearch": "^8.12.0",
    "axios": "^0.21.1"
  }
}

下一步是创建一个 index.js 文件。此脚本旨在每天自动更新数据。它通过每天系统地获取和解析新数据，然后无缝地更新数据集来实现这一点。Elasticsearch 可以使用相同的方法来提取时间序列或不可变数据，例如 webhook 响应。此方法可确保信息保持最新和准确，反映最新的可用数据。你也可以查看完整代码。

你在本地运行的脚本与此脚本之间的主要区别如下：

  • 你不再需要加载 .env 文件，因为你已经设置了环境变量
  • 还有不同的日志记录，更多旨在创建更可持续的脚本
  • 你可以根据最近的收盘价日期保持索引更新
  • 有一个 Azure 函数应用程序的入口点

你首先需要设置库并向 Elasticsearch 进行身份验证，如下所示：

const elasticsearchEndpoint = process.env.ELASTICSEARCH_ENDPOINT;
const elasticsearchApiKey = process.env.ELASTICSEARCH_API_KEY;
const nasaApiKey = process.env.NASA_API_KEY;

const client = new Client({
 node: elasticsearchEndpoint,
 auth: {
   apiKey: elasticsearchApiKey
 }
});

之后，你将需要从 Elasticsearch 获取最新的更新日期，并配置备份方法以便在出现任何问题时获取过去一天的数据。

async function getLastUpdateDate() {
  try {
    const response = await client.search({
      index: 'nasa-node-js',
      body: {
        size: 1,
        sort: [{ close_approach_date: { order: 'desc' } }],
        _source: ['close_approach_date']
      }
    });

    if (response.body && response.body.hits && response.body.hits.hits.length > 0) {
      return response.body.hits.hits[0]._source.close_approach_date;
    } else {
      // Default to one day ago if no records found
      const today = new Date();
      const lastWeek = new Date(today);
      lastWeek.setDate(today.getDate() - 1);
      return lastWeek.toISOString().split('T')[0];
    }
  } catch (error) {
    console.error('Error fetching last update date from Elasticsearch:', error);
    throw error;
  }
}

以下函数连接到 NASA 的 NEO（近地天体）Web 服务以获取数据，使你的索引保持更新。还有一些额外的错误处理功能，可以捕获可能出现的任何 API 错误。

async function fetchNasaData(startDate) {

  const url = "https://api.nasa.gov/neo/rest/v1/feed";
  const today = new Date();

  const endDate = today.toISOString().split('T')[0];

  const params = {
    api_key: nasaApiKey,
    start_date: startDate,
    end_date: endDate,
  };

  try {
    // Perform the GET request to the NASA API with query parameters
    const response = await axios.get(url, { params });
    return response.data;
  } catch (error) {
    // Log any errors encountered during the request
    console.error('Error fetching data from NASA:', error);
    return null;
  }
}

现在，你将需要创建一个函数，通过迭代每个日期的对象来组织数据。

function createStructuredData(response) {
  const allObjects = [];
  const nearEarthObjects = response.near_earth_objects;

  Object.keys(nearEarthObjects).forEach(date => {
    nearEarthObjects[date].forEach(obj => {
      const simplifiedObject = {
        close_approach_date: date,
        name: obj.name,
        id: obj.id,
        miss_distance_km: obj.close_approach_data.length > 0 ? obj.close_approach_data[0].miss_distance.kilometers : null,
      };

      allObjects.push(simplifiedObject);
    });
  });

  return allObjects;
}

现在，你需要使用批量（bulk）索引操作将数据加载到 Elasticsearch 中。此功能应与上一节中的功能类似。

async function indexDataIntoElasticsearch(data) {
  const body = data.flatMap(doc => [{ index: { _index: 'nasa-node-js', _id: doc.id } }, doc]);
  await client.bulk({ refresh: false, body });
}

最后，你需要为将根据你设置的计时器运行的函数创建一个入口点。此函数类似于主函数​​，因为它调用文件中先前创建的函数。还有一些额外的日志记录，例如打印记录数并通知你数据是否已正确编入索引。

module.exports = async function (context, myTimer) {
  try {
    const lastUpdateDate = await getLastUpdateDate();
    context.log(`Last update date from Elasticsearch: ${lastUpdateDate}`);

    const rawData = await fetchNasaData(lastUpdateDate);
    if (rawData) {
      const structuredData = createStructuredData(rawData);
      context.log(`Number of records being uploaded: ${structuredData.length}`);
      
      if (structuredData.length > 0) {

        const flatFileData = JSON.stringify(structuredData, null, 2);
        context.log('Flat file data:', flatFileData);

        await indexDataIntoElasticsearch(structuredData);
        context.log('Data indexed successfully.');
      } else {
        context.log('No data to index.');
      }
    } else {
      context.log('Failed to fetch data from NASA.');
    }
  } catch (error) {
    context.log('Error in run process:', error);
  }

结论

使用 Node.js 和 Azure 的 Function App，你应该能够确保你的索引定期更新。通过结合使用 Node.js 的功能和 Azure 的 Function App，你可以有效地维护索引的定期更新。这种强大的组合提供了一个简化的自动化流程，减少了定期更新索引所需的手动工作量。此示例的完整代码可在 Search Labs GitHub 上找到。如果你基于此博客构建了任何内容，或者你对我们的论坛和社区 Slack 频道有疑问，请告诉我们。

准备好自己尝试一下了吗？开始免费试用。
想要获得 Elastic 认证吗？了解下一次 Elasticsearch 工程师培训何时举行！

原文：Elasticsearch index updates: Automatically update your index using Node.js and an Azure Function App — Elastic Search Labs

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/680953.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

汇编：数组-寻址

汇编：数组-寻址

比例因子寻址： 比例因子寻址（也称为比例缩放索引寻址或基址加变址加比例因子寻址）是一种复杂的内存寻址方式，常用于数组和指针操作。它允许通过一个基址寄存器、一个变址寄存器和一个比例因子来计算内存地址。 语法 比例因子寻…
阅读更多...
IDC最新报告：预计到2027年全球数字化转型支出将近4万亿美元

IDC最新报告：预计到2027年全球数字化转型支出将近4万亿美元

根据国际数据公司（IDC）5月30日发布的《全球数字化转型支出指南》，预计到2027年全球数字化转型（DX）支出将接近4万亿美元。在人工智能（AI）和生成式人工智能（Generative AI）…
阅读更多...
Leetcode：最长公共前缀

Leetcode：最长公共前缀

题目链接：14. 最长公共前缀 - 力扣（LeetCode） 普通版本（横向扫描） 主旨：用第一个字符串与后续的每个字符串进行比较，先获取S1和S2的最长公共前缀，然后将该次比较获得的最长公共前缀…
阅读更多...
Arduino网页服务器：如何将Arduino开发板用作Web服务器

Arduino网页服务器：如何将Arduino开发板用作Web服务器

大家好，我是咕噜铁蛋！今天，我将和大家分享一个有趣且实用的项目——如何使用Arduino开发板搭建一个简易的网页服务器。通过这个项目，你可以将Arduino连接到互联网，并通过网页控制或查询Arduino的状态。 一、项目背景与…
阅读更多...
yarn dev报错X [ERROR] Cannot assign to “i“ because it is a constant

yarn dev报错X [ERROR] Cannot assign to “i“ because it is a constant

yarn dev报错 报错背景 拉取JetLinks-ui-vue源码结果报错 解决方案 node的版本过高导致的 降低版本 Node.js — Download Node.js
阅读更多...
【论文阅读】Point2RBox (CVPR’2024)

【论文阅读】Point2RBox (CVPR’2024)

paper:https://arxiv.org/abs/2311.14758 code:https://github.com/yuyi1005/point2rbox-mmrotate
阅读更多...
计算机网络—交换机综合实验

计算机网络—交换机综合实验

一、实验内容 交换机基本配置设置虚拟局域网VLAN跨交换机实现VLAN2台交换机间用2条链路连接，实现2条链路聚合 二、实验环境 Cisco Packet Tracer 三、实验拓扑 1、 设置虚拟局域网VLAN 2、跨交换机实现VLAN 3、2台交换机间用2条链路连接，实现2条链…
阅读更多...
使用springboot+vue实现阿里云oss上传

使用springboot+vue实现阿里云oss上传

一、前言 我们后端开发中，时常需要用到文件上传的功能，无非是保存到服务器本地或者如阿里云、七牛云这种云存储的方案。本篇介绍一种使用后台springboot结合前端vue实现阿里云oss上传的功能。 二、前端实现过程 前端实现一个通用的上传组件UploadFile…
阅读更多...
【保姆级图文教程】QT下载、安装、入门、配置VS Qt环境

【保姆级图文教程】QT下载、安装、入门、配置VS Qt环境

【保姆级图文教程】QT下载、安装、入门、配置VS Qt环境-CSDN博客 0.QT介绍 QT 是一个跨平台的应用程序开发框架，它提供了丰富的工具和类库，用于开发图形用户界面（GUI）程序。Qt 提供了 C 编程语言接口，同时也支持其他…
阅读更多...
使用Flutter开发APP的问题

使用Flutter开发APP的问题

在使用Flutter进行APP开发时，尽管Flutter提供了许多优势和便利，但也存在一些常见问题和挑战。以下是开发过程中可能遇到的问题以及应对方法，通过充分理解和应对这些问题，可以更好地利用Flutter的优势，开发出高质量的跨…
阅读更多...
Python处理时间和日期库之pytime使用详解

Python处理时间和日期库之pytime使用详解

概要 在Python编程中，时间和日期处理是一个常见的需求。虽然Python标准库提供了强大的时间和日期处理模块，但对于一些常见的任务，例如自然语言解析时间、简单的日期计算等，标准库的使用相对复杂。pytime库提供了一种简单而直观的方法来处理时间和日期，使得这些任务变得更…
阅读更多...
共享门店模式：快速打造连锁实体店

共享门店模式：快速打造连锁实体店

在数字化浪潮的冲击下，许多线下实体店正面临前所未有的挑战。然而，在这个变革的时代，共享门店模式，也被称为“共享股东”，正以其独特的魅力，为实体店带来新的生机。 一、共享门店模式的崭新定义 共享门店…
阅读更多...
asp.net core使用httpclient

asp.net core使用httpclient

主要讲解常见的get请求和post请求 GET var client new HttpClient(); //3秒钟不响应就超时 client.TimeoutTimeSpan.FromSeconds(3); using HttpResponseMessage response await client.GetAsync("todos/3"); var jsonResponse await response.Content.ReadAsSt…
阅读更多...
全光谱led灯的危害有哪些？曝光低质量全光谱led灯产生的四大风险

全光谱led灯的危害有哪些？曝光低质量全光谱led灯产生的四大风险

眼睛是人类获取信息最重要的感官器官之一，而近视则会导致视力模糊，进而影响学习效果和生活品质。因此，如何保护眼睛，尤其是在学习和使用电子设备时，成为了一个迫切需要解决的问题。然而在护眼领域上，护眼台…
阅读更多...
三.网络编程套接字_TCP

三.网络编程套接字_TCP

一.序言 在上一章中，我们已经实现了用udp来实现网络编程，这一节我们用tcp来实现网络编程，通过对比两者编写过程的区别，来加深对udp,tcp的理解！ (两者其实差别不大！有了udp的基础，学习起来tcp会…
阅读更多...
太强了！斯坦福大学吴恩达教授机器学习深度学习速查表

太强了！斯坦福大学吴恩达教授机器学习深度学习速查表

吴恩达教授在2012年推出的『机器学习』课程已经收获了超过 480 万学习者。2022年课程团队对其进行更新升级，广泛地介绍了现代机器学习，以及硅谷用于人工智能和机器学习创新的一些最佳实践（评估和调整模型，采用以数据为中心的方法来…
阅读更多...
240.搜索二维矩阵

240.搜索二维矩阵

题目描述 编写一个高效的算法来搜索 m x n 矩阵 matrix 中的一个目标值 target 。该矩阵具有以下特性： 每行的元素从左到右升序排列。每列的元素从上到下升序排列。 示例 1： 输入：matrix [[1,4,7,11,15],[2,5,8,12,19],[3,6,9,16,22],[10,…
阅读更多...
ArcGIS中几个好用的空间分析工具

ArcGIS中几个好用的空间分析工具

ArcGIS是一款经典的GIS应用，其空间分析能力很强，有着丰富的空间分析工具。今天，我们一起来了解几个好用的空间分析工具的功用及操作。 注：演示版本为ArcMap10.4.1 1.方向分布（标准差椭圆） 路径&#xff…
阅读更多...
软理复习范围

软理复习范围

1.直觉主义逻辑常采用三值逻辑来处理命题的真值，包括以下三个真值： 真（True）：表示命题是确定为真的。假（False）：表示命题是确定为假的。未知（Unknown）&#…
阅读更多...
本地文件复制到虚拟机VMWare报错 Thre was an error getting infomation about以及关于如何搭建linux虚拟机

本地文件复制到虚拟机VMWare报错 Thre was an error getting infomation about以及关于如何搭建linux虚拟机

解决方式 直接远程ssh连接，用ftp上传即可 关于如何搭建linux虚拟机系统 https://juejin.cn/post/7250009145915719740?searchId2024060409134616191B1350EC8E073921 需要寄快递的朋友，这个小程序发快递只要五块钱哦~
阅读更多...
最新文章

Copyright @ 2022~2023