中间件--MongoDB部署及初始化js脚本（docker部署，docker-entrypoint-initdb.d，数据迁移，自动化部署）

一、概述

MongoDB是一种常见的Nosql数据库（非关系型数据库），以文档（Document）的形式存储数据。是非关系型数据库中最像关系型数据库的一种。本篇主要介绍下部署和数据迁移。

在 MongoDB 官方镜像部署介绍中，MongoDB 的官方镜像会在容器首次启动时自动执行 docker-entrypoint-initdb.d/ 目录下的所有.js 文件（注意：只会在容器创建的第一次会执行，如果是运行之前已有的容器则不会执行），我们可以利用这一点来实现数据的迁移和自动化部署服务。

二、完整部署和迁移过程：

1、删除之前的容器

因为js脚本仅会在初次创建容器启动时才会被执行。如果是已存在的容器重新运行，js脚本是不会被执行的。所以如果之前有运行的容器，需要删除。
命令：

docker rm -f mongdb-with-js

删除示例：
在这里插入图片描述

2、编写Dockerfile脚本

因为我们要把我们指定的js文件压到官方的mongDB镜像中，所以这里需要编写Dockerfile文件，用来重新构建镜像。

Dockerfile示例：

# 使用自定义的 MongoDB 镜像
FROM mongo:7.0.4

# 维护者信息
MAINTAINER weisian

# 设置时区为上海
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 将 object-mongo.js 文件复制到容器的初始化脚本目录
COPY ./object-mongo.js /docker-entrypoint-initdb.d

3、编写用于初始化的js脚本

该js文件会被Dockerfile文件压入到镜像中。本例的js脚本就是需要初始化到库中的数据。

名称如：
object-mongo.js

代码示例：

console.log("start running js!!!");
const db = db.getSiblingDB("object_cloud");     // 指定库的名称

try {
  console.log("Switching to database: object_cloud");
  console.log("Inserting data into object_sensor_category...");
  
  // 在object_cloud库的object_sensor_category表中插入数据（支持many和one两种方法）
  const result = db.object_sensor_category.insertMany([
	{
		"_id" : NumberLong("988405030841225243"),
		"sensorModel" : "DT-ZD-V1001",
		"vibrateIndicators" : [ 
			"rms", 
			"peak"
		],
		"params" : {
			"frequencyResponse" : 22,
			"sensitivity" : 102
		},
		"deleteFlag" : false,
		"createTime" : ISODate("2024-06-20T03:28:43.030Z")
	},
	{
		"_id" : NumberLong("988405030841225244"),
		"sensorModel" : "DT-ZS-V1001",
		"pointTypeList" : [ 
			{
				"pointType" : 1020,
				"dataBizTypes" : [ 
					1020
				]
			}
		],
		"params" : {
			"workmanshipCollectInterval" : 60,
			"triggerCount" : 30
		},
		"createTime" : ISODate("2024-06-20T03:28:43.030Z"),
		"createUser" : "1543837863788879871"
	}
  ]);

  const result2 = db.object_category.insertMany([
    {
		"_id" : NumberLong("988108368994373658"),
		"collectorChannelNum" : 18,
		"channelConfList" : [ 
			{
				"channelType" : "1020",
				"sensorTypeList" : [ 
					NumberLong("988405030841225244")
				]
			}
		],
		"manufacturerId" : NumberLong("7382949823"),
		"workmanshipExist" : [ 
			NumberLong(1060)
		],
		"sensorTypeList" : [ 
			NumberLong("988404952147693592"), 
			NumberLong("988405030841225242")
		],
		"updateTime" : ISODate("2024-06-19T07:49:53.351Z"),
		"updateUser" : "1543837863788879871"
	}
  ]);

} catch (e) {
  console.error("Error inserting data: " + e);
}

4、重新构建镜像

（1）、创建工作路径
随意创建一个目录即可。
上传前面编写的Dockerfile和object-mongo.js两个文件
在这里插入图片描述

（2）、重新构建镜像image-mongodb-js:1.0
命令：

docker build -t image-mongodb-js:1.0 .

在这里插入图片描述

（3）、查询镜像存在
在这里插入图片描述

5、启动mongodb服务

（1）、指定用户名（root），密码（123456），和镜像
命令：

docker run -d --name mongodb-with-js -p 27017:27017 -e MONGO_INITDB_ROOT_USERNAME=root -e MONGO_INITDB_ROOT_PASSWORD=123456 image-mongodb-js:1.0

在这里插入图片描述

（2）、查看启动日志
命令：

docker logs mongodb-with-js

可以看到object-mongo.js中打印的日志信息，方便查看是否初始化js等操作信息。
在这里插入图片描述

6、客户端连接验证

使用如下的IP、端口，用户名，密码连接mongDb服务。
ip:27017
root/123456
可以看到登录成功，且数据初始化完成。
在这里插入图片描述

7、过程中的几个命令记一下

进入容器
docker exec -it 415dc88956bd bash
停止并删除容器
docker rm -f mongodb-with-js
删除镜像
docker rmi image-mongodb-js:1.0
宿主机打开mongo shell窗口（可执行原始的mongo命令，在mongDB5.0及之后改为mongosh）（如果进入容器内直接*mongosh即可打开）
docker exec -it mongodb-with-js mongosh

以下几个为mong shell的脚本：

展示mongo服务中有哪些个数据库
show databases
切换数据库
use phm_local
展示当前数据库下的表
show collections
展示当前数据库下，指定表中的数据
db.object_sensor_category.find().pretty();
加载执行js脚本
load("/docker-entrypoint-initdb.d/phm-mongo.js")

三、js脚本需要注意的点

（1）、Long类型的精度问题

在处理long类型时，如果不用双引号框起来会造成精度丢失问题甚至报错。如下为正确和错误的示例。
正确示例：

"_id" : NumberLong("988404952147693592"),

错误示例如：
"_id" : NumberLong(988404952147693592),

（2）、注意mongDb的版本

使用5.0之前和之后的mongDb版本，js语法可能会不相同。
目前使用7.0.4版本，可用语法如下：

const db = db.getSiblingDB("object_cloud");   // 切换到object_cloud库
const result = db.object_sensor_category.insertMany([])   // db库导入多条数据

（3）、时间对象

时间对象需要改成以下格式，注意后面也有双引号

"createTime" : ISODate("2024-06-20T03:28:24.269Z")

四、通过代码做数据迁移

通过如下的代码，也可以实现mongoDb数据的迁移工作。但这种方式要求必须同时连接到两个数据源，对于一些线上环境往往是平常无法访问的。如果网络环境不通的情况下，就只能先把数据导出后，在迁移到目标环境中进行导入的工作（上面的js初始化方式也是这种实现的逻辑，但是不同在于js的方式实现了自动化部署，即：不需要人为再去操作迁移了）

java代码示例如下：


import com.alibaba.fastjson2.JSON;
import com.mongodb.MongoClientSettings;
import com.mongodb.MongoCredential;
import com.mongodb.ServerAddress;
import com.mongodb.client.*;
import org.bson.Document;
import java.util.Collections;
import java.util.Iterator;

public class MongoMigration {

    public static void main(String[] args) {
        String[] collections = new String[]{    // 指定需要迁移数据的表
                "object_category",
//                "object_running_conf",
                "object_sensor_category"
        };
        for (String collection:collections){
            copyCollection(collection);       // 遍历上面的表进行数据迁移
        }
    }

    private static void copyCollection(String collection) {
        // 源MongoDB配置
        String sourceHost = "";
        int sourcePort = 27017;
        String sourceDatabase = "object-cloud";
        String sourceUsername = "root"; // 如果需要的话
        String sourcePassword = "123456"; // 如果需要的话

        // 目标MongoDB配置
        String targetHost = "";
        int targetPort = 38630; 
        String targetDatabase = "object-cloud";
        String targetUsername = "root"; // 如果需要的话
        String targetPassword = "123456"; // 如果需要的话

        // 连接到源MongoDB
        MongoClient sourceClient = createMongoClient(sourceHost, sourcePort, sourceDatabase, sourceUsername, sourcePassword);
        MongoDatabase sourceDatabaseInstance = sourceClient.getDatabase(sourceDatabase);
        MongoCollection<Document> sourceCollectionInstance = sourceDatabaseInstance.getCollection(collection);

        // 连接到目标MongoDB
        MongoClient targetClient = createMongoClient(targetHost, targetPort,  targetDatabase ,targetUsername, targetPassword);
        MongoDatabase targetDatabaseInstance = targetClient.getDatabase(targetDatabase);
        MongoCollection<Document> targetCollectionInstance = targetDatabaseInstance.getCollection(collection);

        // 从源集合读取数据并写入目标集合
        FindIterable<Document> documents = sourceCollectionInstance.find();
        Iterator<Document> iterator = sourceCollectionInstance.find().iterator();
        int i=0;
        while (iterator.hasNext()) {
            Document doc = iterator.next();
            targetCollectionInstance.insertOne(doc);
            if (++i>100){                  // 仅迁移前100条数据，有些表数据量太大，不需要可以放弃。如果需要全量，这里要删除掉
                break;
            }
        }

        // 关闭连接
        sourceClient.close();
        targetClient.close();
        System.out.println("Data migration completed successfully!");
    }

    private static MongoClient createMongoClient(String host, int port, String  database, String username, String password) {
        MongoCredential credential = null;
        if (username != null && !username.isEmpty() && password != null && !password.isEmpty()) {
            credential = MongoCredential.createCredential(username, database, password.toCharArray()); 
        }
        MongoClientSettings settings = MongoClientSettings.builder()
                .applyToClusterSettings(builder ->
                        builder.hosts(Collections.singletonList(new ServerAddress(host, port))))
                .credential(credential) // 如果需要认证
                .build();
        return MongoClients.create(settings);
    }
}

五、总结

通过MongDB官方镜像的特性，会在容器首次启动时自动执行 docker-entrypoint-initdb.d/ 目录下的所有.js 文件，可以利用这一点来实现mongDB的数据迁移或自动化部署服务。

学海无涯苦作舟！！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/934318.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

MES系统通过eDrawings Pro API开发图纸批量转换工具，实现3D在线查看

MES系统通过eDrawings Pro API开发图纸批量转换工具，实现3D在线查看

声明&#xff1a;部分代码来源于网络&#xff0c;如有疑问&#xff0c;请联系本人删除。 通过C#结合eDrawings API提供接口&#xff0c;实现图纸转换为换.jpg、.tif、.bmp、.stl、.exe、.html、.zip、.edrw、.eprt 和 .eas格式工具&#xff0c;尤其是.html格式&#xff0c;可以…
阅读更多...
Java阶段三06

Java阶段三06

第3章-第6节 一、知识点 理解MVC三层模型、理解什么是SpringMVC、理解SpringMVC的工作流程、了解springMVC和Struts2的区别、学会使用SpringMVC封装不同请求、接收参数 二、目标 理解MVC三层模型 理解什么是SpringMVC 理解SpringMVC的工作流程 学会使用SpringMVC封装请求…
阅读更多...
【计算机网络】期末速成(2)

【计算机网络】期末速成(2)

部分内容来源于网络&#xff0c;侵删~ 第五章 传输层 概述 传输层提供进程和进程之间的逻辑通信&#xff0c;靠**套接字Socket(主机IP地址&#xff0c;端口号)**找到应用进程。 传输层会对收到的报文进行差错检测。 比特流(物理层)-> 数据帧(数据链路层) -> 分组 / I…
阅读更多...
word poi-tl 表格功能增强，实现表格功能垂直合并

word poi-tl 表格功能增强，实现表格功能垂直合并

目录 问题解决问题poi-tl介绍 功能实现引入依赖模版代码效果图 附加&#xff08;插件实现&#xff09;MergeColumnData 对象MergeGroupData 类ServerMergeTableData 数据信息ServerMergeTablePolicy 合并插件 问题 由于在开发功能需求中&#xff0c;word文档需要垂直合并表格&…
阅读更多...
记一次：使用C#创建一个串口工具

记一次：使用C#创建一个串口工具

前言&#xff1a;公司的上位机打不开串口&#xff0c;发送的时候设备总是关机&#xff0c;因为和这个同事关系比较好&#xff0c;编写这款软件是用C#编写的&#xff0c;于是乎帮着解决了一下&#xff08;是真解决了&#xff09;&#xff0c;然后整理了一下自己的笔记 一、开发…
阅读更多...
LLama系列模型简要概述

LLama系列模型简要概述

LLama-1&#xff08;7B, 13B, 33B, 65B参数量&#xff1b;1.4T tokens训练数据量&#xff09; 要做真正Open的AI Efficient&#xff1a;同等预算下&#xff0c;增大训练数据&#xff0c;比增大模型参数量&#xff0c;效果要更好 训练数据&#xff1a; 书、Wiki这种量少、质量高…
阅读更多...
【OpenCV】模板匹配

【OpenCV】模板匹配

理论 模板匹配是一种在较大图像中搜索和查找模板图像位置的方法。为此&#xff0c;OpenCV 带有一个函数 cv.matchTemplate&#xff08;&#xff09; 。它只是在输入图像上滑动模板图像&#xff08;如在 2D 卷积中&#xff09;&#xff0c;并比较模板图像下的模板和输入图像的补…
阅读更多...
从 Zuul 迁移到 Spring Cloud Gateway：一步步实现服务网关的升级

从 Zuul 迁移到 Spring Cloud Gateway：一步步实现服务网关的升级

从 Zuul 迁移到 Spring Cloud Gateway&#xff1a;一步步实现服务网关的升级 迁移前的准备工作迁移步骤详解第一步&#xff1a;查看源码第二步&#xff1a;启动类迁移第三步&#xff1a;引入 Gateway 依赖第四步 编写bootstrap.yaml第五步&#xff1a;替换路由配置第六步&#…
阅读更多...
网站中的QQ在线客服接入

网站中的QQ在线客服接入

1. 开通QQ通讯组件 QQ通讯组件官网&#xff1a;https://shang.qq.com 默认未开通通讯组件&#xff0c;登陆上QQ之后会提示开通&#xff0c;点击开通即可 2. 唤起QQ临时会话&#xff08;对方不是自己的QQ好友也能唤起&#xff09; 复制链接地址 http://wpa.qq.com/msgrd?v3&…
阅读更多...
赋能加速AI应用交付，F5 BIG-IP Next for Kubernetes方案解读

赋能加速AI应用交付，F5 BIG-IP Next for Kubernetes方案解读

随着AI工作负载的爆炸式增长&#xff0c;服务提供商和企业需要加速计算&#xff0c;以安全高效地在大规模云上交付高性能的AI应用。前段时间&#xff0c;F5公司宣布推出一项全新的创新AI应用交付和应用安全解决方案&#xff0c;即BIG-IP Next for Kubernetes。那么该方案有何性…
阅读更多...
域内DNS信息收集

域内DNS信息收集

目录 一、查询域内DNS记录 1. 使用 PowerView.ps1 2. 使用 adidnsdump 二、添加域内DNS记录 1. 使用 Invoke-DNSUpdate.ps1 在默认情况下，域内所有用户 都有权限读取 Active Directory 数据库中的 DNS 信息，包括所有记录。这是因为： DNS 记录被视为公共信息，用于解析域…
阅读更多...
Odoo ：一款免费且开源的食品生鲜领域ERP管理系统

Odoo ：一款免费且开源的食品生鲜领域ERP管理系统

文 / 贝思纳斯 Odoo金牌合作伙伴 引言 提供业财人资税的精益化管理&#xff0c;实现研产供销的融通、食品安全的追踪与溯源&#xff0c;达成渠道的扁平化以及直面消费者的 D2C 等数字化解决方案&#xff0c;以此提升运营效率与核心竞争力&#xff0c;支撑高质量的变速扩张。…
阅读更多...
在星闪W63/W63E开发板上运行第一个OpenHarmony程序

在星闪W63/W63E开发板上运行第一个OpenHarmony程序

目录 引言 demolink示例 程序修改 修改任务堆栈的大小 修改示例程序的build.gn 修改App的build.gn 修改ohos.cmake 修改config.py 编译程序 烧写程序 程序运行 结语 引言 在前面的博文星闪WS63E开发板的OpenHarmony环境构建-CSDN博客中介绍了如何构建W63E开发板的…
阅读更多...
Spring——@Autowired和@Configuration注解区别

Spring——@Autowired和@Configuration注解区别

摘要 本文主要介绍了Spring框架中Autowired和Configuration注解的区别。Autowired用于自动注入依赖&#xff0c;支持属性、构造器和方法注入。Configuration则用于定义配置类&#xff0c;允许在类中使用Bean注解声明Bean。文章详细解释了这两个注解的作用、使用场景和核心特性…
阅读更多...
机器学习--张量

机器学习--张量

机器学习–张量 机器学习的数据结构–张量 张量是机器学习程序中的数字容器&#xff0c;本质上就是各种不同维度的数组&#xff0c;如下图所示。 张量的维度称为轴&#xff08;axis&#xff09;&#xff0c;轴的个数称为阶&#xff08;rank&#xff09; 标量–0D张量 impor…
阅读更多...
标记数据集生成模型助力无数据情况下的大模型指令微调

标记数据集生成模型助力无数据情况下的大模型指令微调

在构建大模型应用时&#xff0c;通常有两种方式来改进效果&#xff0c;一种是构建外部知识库&#xff0c;利用RAG来完成。但RAG并不是万能的&#xff0c;对于特定领域的LLM应用&#xff0c;以及无需示例&#xff0c;就能完成特定任务等场合就需要进行微调。然而&#xff0c;微调…
阅读更多...
nvm安装指定版本显示不存在及nvm ls-remote 列表只出现 iojs 而没有 node.js 解决办法

nvm安装指定版本显示不存在及nvm ls-remote 列表只出现 iojs 而没有 node.js 解决办法

在使用 nvm install 18.20.3 安装 node 时会发现一直显示不存在此版本 Version 18.20.3 not found - try nvm ls-remote to browse available versions.使用 nvm ls-remote 查看可安装列表时发现&#xff0c;列表中只有 iojs 解决方法&#xff1a; 可以使用以下命令查看可安装…
阅读更多...
5.ABAP结构体和内表

5.ABAP结构体和内表

总学习目录请点击下面连接 SAP ABAP开发从0到入职&#xff0c;冷冬备战-CSDN博客 目录 5.1.结构化数据对象 定义 如何引用结构化的数据对象 拷贝 实战练习 创建 拷贝 调试代码 5.2.内表 行类型 键 表种类 存取类型 表类型 如何在本地定义表类型 内表三种可能的…
阅读更多...
C#搭建WebApi服务

C#搭建WebApi服务

1&#xff0c;OWIN的介绍 OWIN 的全称是 “Open Web Interface for .NET”&#xff0c; OWIN 在 .NET Web 服务器和 .NET Web 应用之间定义了一套标准的接口&#xff0c; 其目的是为了实现服务器与应用之间的解耦&#xff0c;使得便携式 .NET Web 应用以及跨平台的愿望成为现实…
阅读更多...
unity 2D像素种田游戏学习记录（自用）

unity 2D像素种田游戏学习记录（自用）

一、透明度排序轴 改变sprite的排序方式&#xff0c;默认按照z轴进行排序&#xff08;离摄像机的远近&#xff09;。可以将其改变成y轴的排序方式&#xff0c;这样可以使2D人物走在草丛的下方就不被遮挡&#xff0c;走在草丛上方就被遮挡&#xff0c;如下图。 在项目设置-图形…
阅读更多...
最新文章

Copyright @ 2022~2023