Elasticsearch 在linux部署 及 Docker 集群部署详解案例示范

1. 在 CentOS 上安装和配置 Elasticsearch

在 CentOS 系统下，安装 Elasticsearch 主要分为以下步骤：

1.1 准备工作

在开始安装之前，确保你的系统满足以下基本条件：

  1. CentOS 版本要求：推荐使用 CentOS 7 及以上版本。
  2. Java 环境：Elasticsearch 依赖于 Java 运行时环境 (JRE)。需要确保 Java 版本为 8 或更高。
  3. 系统资源：Elasticsearch 对内存和磁盘有较高要求，至少 4GB 的内存，推荐 8GB 或更高，并确保有足够的磁盘空间来存储索引数据。

1.2 安装 Java

首先，确认系统已经安装了 Java，如果没有，可以通过以下命令安装 OpenJDK 8：

sudo yum install java-1.8.0-openjdk-devel

安装完成后，验证 Java 版本：

java -version

确保输出显示 Java 版本为 1.8 及以上。

1.3 下载并安装 Elasticsearch

  1. 添加 Elasticsearch 官方仓库：
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  1. 创建 Elasticsearch 的 yum 仓库文件：
sudo nano /etc/yum.repos.d/elasticsearch.repo

将以下内容粘贴进去：

[elasticsearch-8.x]
name=Elasticsearch repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

保存文件并退出。

  1. 更新仓库并安装 Elasticsearch：
sudo yum update
sudo yum install elasticsearch

1.4 配置 Elasticsearch

Elasticsearch 的配置文件位于 /etc/elasticsearch/elasticsearch.yml。这是主要的配置文件，你需要根据实际需求进行修改。

1.4.1 基本配置

打开配置文件：

sudo nano /etc/elasticsearch/elasticsearch.yml

我们首先配置集群名称和节点名称：

# 集群名称
cluster.name: my-application-cluster

# 节点名称
node.name: node-1
1.4.2 网络配置

默认情况下，Elasticsearch 仅绑定到 localhost，这意味着它只能在本机上访问。如果你希望在网络中访问 Elasticsearch，需要修改以下配置：

# 绑定地址为所有网络接口
network.host: 0.0.0.0

# 配置允许的端口
http.port: 9200
1.4.3 数据和日志路径

Elasticsearch 默认将数据存储在 /var/lib/elasticsearch，日志存储在 /var/log/elasticsearch。可以根据需求修改这些路径：

# 数据存储路径
path.data: /path/to/your/data

# 日志存储路径
path.logs: /path/to/your/logs
1.4.4 JVM 配置

Elasticsearch 的性能很大程度上依赖于内存的分配。在生产环境中，推荐设置 JVM 的堆内存大小为系统总内存的 50%。你可以通过修改 jvm.options 文件来配置：

sudo nano /etc/elasticsearch/jvm.options

找到 -Xms 和 -Xmx 选项并修改为适合的大小：

-Xms4g  # 设置最小堆内存为 4GB
-Xmx4g  # 设置最大堆内存为 4GB

1.5 启动 Elasticsearch

配置完成后，可以使用以下命令启动 Elasticsearch：

sudo systemctl start elasticsearch

确保 Elasticsearch 开机启动：

sudo systemctl enable elasticsearch

检查 Elasticsearch 服务状态：

sudo systemctl status elasticsearch

1.6 验证安装

Elasticsearch 启动成功后，打开浏览器，访问 http://localhost:9200/。如果看到类似以下的 JSON 输出，说明安装成功：

{
  "name" : "node-1",
  "cluster_name" : "my-application-cluster",
  "cluster_uuid" : "xxxxxx",
  "version" : {
    "number" : "8.x.x",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "xxxxxxx",
    "build_date" : "2024-xx-xx",
    "build_snapshot" : false,
    "lucene_version" : "9.x",
    "minimum_wire_compatibility_version" : "7.x",
    "minimum_index_compatibility_version" : "7.x"
  },
  "tagline" : "You Know, for Search"
}

2. Docker 中部署 Elasticsearch

在生产环境和开发环境中，Docker 可以极大简化 Elasticsearch 的部署过程。通过 Docker，你可以轻松地在多个环境中创建一致的运行环境，而不必担心安装和配置过程中的细节问题。下面将详细介绍如何在 Docker 中部署单节点和集群版本的 Elasticsearch。

2.1 安装 Docker

首先，需要在 CentOS 上安装 Docker：

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install docker-ce docker-ce-cli containerd.io

启动并启用 Docker 服务：

sudo systemctl start docker
sudo systemctl enable docker

验证 Docker 安装是否成功：

docker --version

输出类似以下内容即表示 Docker 安装成功：

Docker version 24.0.0, build abcdefg

2.2 Docker 中的单节点 Elasticsearch 部署

  1. 拉取 Elasticsearch Docker 镜像：
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.x.x
  1. 运行单节点 Elasticsearch 容器：
docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 \
    -e "discovery.type=single-node" \
    docker.elastic.co/elasticsearch/elasticsearch:8.x.x
  • -d 表示在后台运行容器。
  • --name 设置容器名称为 elasticsearch。
  • -p 映射宿主机的端口（9200 是 HTTP 端口，9300 是集群节点间通信的端口）。
  • discovery.type=single-node 指定为单节点模式，不启动集群。
  1. 验证 Elasticsearch 是否成功运行：

运行以下命令查看 Docker 容器的状态：

docker ps

应该能看到类似以下输出，表明容器正在运行：

CONTAINER ID   IMAGE                                           STATUS          PORTS
xxxxxxxxxx     docker.elastic.co/elasticsearch/elasticsearch   Up 10 seconds   0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp

打开浏览器并访问 http://localhost:9200/，如果看到类似以下的 JSON 响应，表示 Elasticsearch 运行正常：

{
  "name" : "elasticsearch",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "xxxxxx",
  "version" : {
    "number" : "8.x.x",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "xxxxxxx",
    "build_date" : "2024-xx-xxTxx:xx:xx",
    "build_snapshot" : false,
    "lucene_version" : "9.x",
    "minimum_wire_compatibility_version" : "7.x",
    "minimum_index_compatibility_version" : "7.x"
  },
  "tagline" : "You Know, for Search"
}

2.3 使用 Docker Compose 部署 Elasticsearch 集群

在生产环境中，通常需要部署多个节点组成集群。使用 Docker Compose，可以更方便地管理多节点部署。下面是如何使用 Docker Compose 部署 Elasticsearch 集群。

  1. 安装 Docker Compose

如果你尚未安装 Docker Compose，可以通过以下命令安装：

sudo curl -L "https://github.com/docker/compose/releases/download/v2.20.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose

验证安装是否成功：

docker-compose --version
  1. 创建 Docker Compose 配置文件

在项目目录下创建一个名为 docker-compose.yml 的文件，内容如下：

version: '3'
services:
  elasticsearch-node1:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.x.x
    container_name: es-node1
    environment:
      - node.name=es-node1
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es-node2,es-node3
      - cluster.initial_master_nodes=es-node1,es-node2,es-node3
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata1:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
      - 9300:9300

  elasticsearch-node2:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.x.x
    container_name: es-node2
    environment:
      - node.name=es-node2
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es-node1,es-node3
      - cluster.initial_master_nodes=es-node1,es-node2,es-node3
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata2:/usr/share/elasticsearch/data

  elasticsearch-node3:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.x.x
    container_name: es-node3
    environment:
      - node.name=es-node3
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es-node1,es-node2
      - cluster.initial_master_nodes=es-node1,es-node2,es-node3
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata3:/usr/share/elasticsearch/data

volumes:
  esdata1:
    driver: local
  esdata2:
    driver: local
  esdata3:
    driver: local

该配置文件定义了 3 个 Elasticsearch 节点，它们组成一个集群，每个节点都将数据存储在独立的卷上。

  1. 启动 Elasticsearch 集群

在 docker-compose.yml 文件所在的目录中运行以下命令：

docker-compose up -d

此命令将启动 3 个 Elasticsearch 节点并组成一个集群。你可以通过以下命令查看运行状态：

docker-compose ps
  1. 验证集群状态

可以通过 API 请求检查集群状态：

curl -X GET "localhost:9200/_cluster/health?pretty"

如果集群状态为 green，说明集群已成功启动且工作正常。

3. 集群环境部署详解

Elasticsearch 集群是一种分布式架构，通过水平扩展节点来提升系统的容量和性能。一个典型的集群通常包含多个 Master 节点、Data 节点 和 协调节点。下面详细介绍 Elasticsearch 集群的核心组件和集群部署的关键配置。

3.1 Master 节点和 Data 节点

  • Master 节点：负责管理整个集群的元数据，包括节点加入/退出、索引创建/删除、分片分配等操作。一个集群应该有多个 master 节点以提高容错性。
  • Data 节点：负责存储实际的数据，并执行索引、搜索等操作。data 节点的数量决定了集群的存储容量和处理能力。

在生产环境中，通常会通过独立的配置文件来指定节点角色，确保 master 节点和 data 节点的职责明确。

3.1.1 配置 Master 节点

在 elasticsearch.yml 中设置节点角色为 master：

node.master: true
node.data: false

此配置确保该节点只作为 master 角色，不处理数据存储和搜索请求。

3.1.2 配置 Data 节点

在 elasticsearch.yml 中设置节点角色为 data：

node.master: false
node.data: true

Data 节点负责存储和搜索数据，不参与集群的管理操作。

3.2 分片与副本

Elasticsearch 通过将索引数据拆分为多个 分片（Shards） 来提高系统的可扩展性和性能。每个分片可以存储在集群中的不同节点上，实现数据的水平扩展。同时，Elasticsearch 通过 副本（Replicas） 提供数据冗余和高可用性。副本是分片的复制版，当主分片失效时，副本可以继续提供服务。

配置分片和副本数量时，可以通过如下方式进行设置：

PUT /my-index
{
  "settings": {
    "index": {
      "number_of_shards": 5,
      "number_of_replicas": 1
    }
  }
}

在这个配置中，索引 my-index 将被拆分为 5 个主分片，并为每个分片创建 1 个副本。

3.3 集群的健康状态检查

集群启动后，可以通过 Elasticsearch 提供的 API 来检查集群的健康状态。健康状态分为三种：

  • green：所有分片和副本都分配到位。
  • yellow：所有主分片分配到位，但副本分片未完全分配（通常是因为缺少足够的节点）。
  • red：部分主分片未能分配，可能导致数据丢失。

使用以下命令检查集群的健康状态：

curl -X GET "localhost:9200/_cluster/health?pretty"

输出如下表示集群处于健康状态：

{
  "cluster_name" : "docker-cluster",
  "status" : "green",
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 5,
  "active_shards" : 10,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0
}

在生产环境中，确保集群健康是非常重要的，可以通过设置警报和自动化监控来及时检测和修复问题。

通过 Docker 部署 Elasticsearch，可以极大简化集群的管理和扩展。无论是单节点还是集群部署，Docker 都能提供一致的运行环境，极大地提高了灵活性和可维护性。在生产环境中，还应根据具体需求优化内存分配、数据持久化和安全性配置。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/898729.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

三、语法分析，《编译原理》（本科教学版），第2版

三、语法分析，《编译原理》（本科教学版），第2版

文章目录 一、Antlr-v4 设计语法分析器1.1 Cymbol.g41.1 antlr-v4 代码实现1.2 二义性1.2.1 悬空的else1.2.2 运算符结合性带来的二义性1.2.3 运算符的优先级带来的二义性 1.3 函数调用图1.4 walker 的 时机1.5 ParseTreeWalker 与 Listener 二、上下文无关法2.1 定义2.2 语义2…
阅读更多...
Nginx超简洁知识：负载均衡-反向代理，动静分离，配置文件

Nginx超简洁知识：负载均衡-反向代理，动静分离，配置文件

首先介绍一下为什么需要nginx？ 在低并发场景下（也就是用户量特别少的情况下），我们只需要部署一台服务器就能满足用户数量少的需求。 但是如果用户量逐渐增多，只有一台服务器是不够的。于是我们需要部署多台服务器。 …
阅读更多...
【算法】归并排序概念及例题运用

【算法】归并排序概念及例题运用

📢博客主页：https://blog.csdn.net/2301_779549673 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ 📢本文由 JohnKi 原创，首发于 CSDN🙉 📢未来很长&#…
阅读更多...
linux链接、目标文件全解析

linux链接、目标文件全解析

内容目录 内容目录 链接 1. 静态链接2. 目标文件3. 可重定位目标文件4. 符号和符号表5. 符号解析 5.1 链接器如何解析多重定义的符号5.2 与静态库链接5.3 链接器如何使用静态库来解析引用 6. 重定位 6.1 重定位条目 - 6.2 重定位符号引用 6.2.1 重定位PC相对引用6.2.2 重定位…
阅读更多...
计算机系统的层次

计算机系统的层次

目录 计算机系统的层次ISA（指令集体系结构） 计算机系统的层次 计算机硬件是基础指令集体系结构：将硬件的功能封装从指令供软件使用操作系统：提供人机交互界面、提供服务功能的内核例程语言处理系统： 语言处理程序&…
阅读更多...
群晖通过 Docker 安装 GitLab

群晖通过 Docker 安装 GitLab

Docker 配置容器步骤都是大同小异的，可以参考： 群晖通过 Docker 安装 Gitea-CSDN博客 1. 在 Docker 文件夹中创建 GitLab，并创建子文件夹 2. 设置权限 3. 打开 Docker 应用，并在注册表搜索 gitlab-ce 4. 选择 gitlab-ce 映像运行…
阅读更多...
什么是不同类型的微服务测试？

什么是不同类型的微服务测试？

大家好，我是锋哥。今天分享关于【什么是不同类型的微服务测试？】面试题？希望对大家有帮助； 什么是不同类型的微服务测试？ 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 微服务架构中的测试可以分为多种类…
阅读更多...
多尺度建模：从理论到实践的深入探讨

多尺度建模：从理论到实践的深入探讨

#1024程序员节 | 征文# 引言 在现代科学与工程中，很多现象和过程在不同的空间和时间尺度上展现出复杂性。因此，能够有效地进行多尺度建模，已经成为了许多领域（如物理、生物、工程、环境科学等）研究的一个重要方向。本…
阅读更多...
vue后台管理系统从0到1（5）

vue后台管理系统从0到1（5）

文章目录 vue后台管理系统从0到1（5）完善侧边栏修改bug渲染header导航栏 vue后台管理系统从0到1（5） 接上一期，我们需要完善我们的侧边狼 完善侧边栏 我们在 element 组件中可以看见，这一个侧边栏是符合我们…
阅读更多...
【操作系统】06.进程控制

【操作系统】06.进程控制

一、进程创建 1.1 认识fork函数 在linux中fork函数是非常重要的函数，它从已存在进程中创建一个新进程。新进程为子进程，而原进程为父进程。 进程调用fork，当控制转移到内核中的fork代码后，内核将 分配新的内存块和内核数据结构…
阅读更多...
Aspose.PDF功能演示：使用 JavaScript 从 PDF 中提取文本

Aspose.PDF功能演示：使用 JavaScript 从 PDF 中提取文本

在数据提取、业务文档自动化和文本挖掘方面，使用 JavaScript 从PDF中提取文本非常有用。它允许开发人员自动执行从 PDF 收集信息的过程，从而显著提高处理大量文档的生产力和效率。在这篇博文中，我们将学习如何使用 JavaScript 从 PDF 中提取文…
阅读更多...
人工智能的未来应用与发展前景

人工智能的未来应用与发展前景

随着人工智能（AI）技术的快速进步，我们正亲历着它在各行各业中带来的巨大变革。无论是医疗、企业管理，还是日常生活，AI 技术都在改变着我们的工作和生活方式。那么，人工智能的应用前景究竟如何？它…
阅读更多...
【消息队列】RabbitMQ实现消费者组机制

【消息队列】RabbitMQ实现消费者组机制

目录 1. RabbitMQ 的 发布订阅模式 2. GRPC 服务间的实体同步 2.1 生产者服务 2.2 消费者服务 3. 可靠性 3.1 生产者丢失消息 3.2 消费者丢失消息 3.3 RabbitMQ 中间件丢失消息 1. RabbitMQ 的 发布订阅模式 https://www.rabbitmq.com/tutorials/tutorial-three-go P 生…
阅读更多...
winUI3 c++ 入门 2、 样式

winUI3 c++ 入门 2、 样式

目录 一、winUI3 基本概念及样式 1、边距 2、如何使用样式 1）、布局控件内定义样式 2）、APP.xmal定义全局样式 3）、单独的样式文件 3.1)、新增字典资源 xmal 3.2）、在里面设置样式 3.3）、引用样式 3、更多样式修改 1）、修改默认属性 2）、修改所有的默认颜色…
阅读更多...
垃圾收集器与内存分配机制（一）

垃圾收集器与内存分配机制（一）

目录 一、为什么我们要去了解垃圾收集和内存分配 二、对象已死？ 1. 引用计数算法 2. 可达性分析算法 3. 再谈引用 4. 生存还是死亡 5. 回收方法区 三、垃圾收集算法 1. 简介 2. 分代收集理论 2.1. 弱分代/强分代假说 2.2. 前面两代假说的缺陷 3. 标记-清…
阅读更多...
智能去毛刺：2D视觉引导机器人如何重塑制造业未来

智能去毛刺：2D视觉引导机器人如何重塑制造业未来

机器人技术已经深入到各个工业领域中，为制造业带来了前所未有的变革。其中，2D视觉引导机器人技术以其精准、高效的特点，在去毛刺工艺中发挥着越来越重要的作用。本文将为您介绍2D视觉引导机器人技术的基本原理及其在去毛刺工艺中的应用&#…
阅读更多...
blender 理解 积木组合 动画制作 学习笔记

blender 理解 积木组合 动画制作 学习笔记

一、学习blender视频教程链接 案例2：积木组合_动画制作_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1Bt4y1E7qn?vd_sourced0ea58f1127eed138a4ba5421c577eb1&p10&spm_id_from333.788.videopod.episodes 二、说明 之前已经学习了如何制作积木组…
阅读更多...
20 Shell Script输入与输出

20 Shell Script输入与输出

标出输入、标准输出、错误输出 一、程序的基本三个IO流 一）文件描述符 ​ 任何程序在Linux系统中都有3个基本的文件描述符 ​ 比如: ​ cd/proc/$$/fd ​ 进入当前shell程序对于内核在文件系统的映射目录中: [rootlocalhost ~]# cd /proc/$$/fd [rootlocalhos…
阅读更多...
Ubuntu22.04环境搭建MQTT服务器

Ubuntu22.04环境搭建MQTT服务器

官网： https://mosquitto.org 1.引入库 sudo apt-add-repository ppa:mosquitto-dev/mosquitto-ppa2.升级安装工具 sudo apt-get update 3.安装 sudo apt-get install mosquitto 4.安装客户端 sudo apt-get install mosquitto-clients5.添加修改配置文件 进…
阅读更多...
微信小程序上传图片添加水印

微信小程序上传图片添加水印

微信小程序使用wx.chooseMedia拍摄或从手机相册中选择图片并添加水印&#xff0c; 代码如下&#xff1a; // WXML代码&#xff1a;<canvas canvas-id"watermarkCanvas" style"width: {{canvasWidth}}px; height: {{canvasHeight}}px;"></canvas&…
阅读更多...
最新文章

Copyright @ 2022~2023