用于可视化和探索每个 MEAN 堆栈背后的数据图的 ETL

您是否正在努力回答有关 MEANS Web 服务数据的紧急问题？哪里有 BI 可以快速回答“上个季度哪些亚洲的artisan.plus 用户触发了订单？”这个问题，而无需编写查询？使用 mongo2neo4j 、 Neo4j 和 SemSpect ，可以根据需要以可视化方式免费回答此类问题。这篇文章介绍了如何将 MongoDB 数据和对象模型转移到 Neo4j，以及如何使用 SemSpect 深入了解您的业务数据。

MEAN 堆栈

MEAN 堆栈 (MEANS) 是基于 MongoDB 、 Express.js 、 AngularJS 和 Node.js 构建的流行技术组合，适用于 Netflix、PayPal、Gmail、LinkedIn、YouTube 等云应用程序。在前端方面，此堆栈有多种变体，例如 MERN（使用 React 而不是 Angular）或 MEVN（使用 Vue.js ）。无论如何，MongoDB 始终充当数据后端，作为管理集合中嵌套 JSON 对象的数据库。集合包含 JSON 对象，在 MongoDB 中称为文档，具有类似的结构（例如，一个用于用户的集合，一个用于产品的集合，一个用于订单的集合等）。

此堆栈通常会辅以对象数据建模 (ODM) 框架，例如MongoDB 上的 mongoose 。通过整合 mongoose，您可以无缝定义和实施数据模式，从而在集合之间或跨集合建立 JSON 对象之间的链接。这可以增强数据完整性并降低不一致的风险。

集合中隐藏的宝贵知识

MEAN 堆栈很棒，但它无法轻松洞察底层数据，甚至无法回答简单的业务问题。这是因为 JSON 数据集合不易探索。MongoDB 有一个 查询 API ，包括聚合和投影，但结果始终是 JSON。此外，该 API 有点麻烦，需要编程知识，有时您从一开始就不知道在数据中寻找什么。

这就是 mongo2neo4j 发挥作用的地方。通过自动转换为 Neo4j 的标记属性图 (LPG)，可以使用 SemSpect 轻松可视化、探索和分析生成的图表。

mongo2neo4j 构建了从 MEAN 堆栈到图和图分析世界的桥梁

例如，在为咖啡库存管理应用程序 artisan.plus 规划新功能时，出现了一个问题：其 PRO 用户中是否有人只烘焙来自巴西的纯阿拉比卡咖啡混合物？调查这个问题后，只需在 SemSpect 中单击几下并加载相关的 artisan.plus 数据（约 120 万个节点和 360 万个关系），就会发现 59 位 PRO 用户进行了约 24,000 次此类混合烘焙。

SemSpect 使用来自 artisan.plus 的样本数据：有多少 PRO 用户将纯阿拉比卡咖啡与仅来自巴西的咖啡混合烘焙？

将您的平均值变成图表并进行探索

Mongo2neo4j、Neo4j 和 SemSpect 图形可视化和探索工具有效地解决了这种缺乏数据洞察力的问题。

mongo2neo4j 是将 MEANS 数据传输到本机图形的最快、最方便的方法，同时考虑到对象关系数据模型。但是，我们为什么要将数据映射到图形中呢？图形模型是处理对象和关系时最自然的数据模型——正是您在应用 mongoose 或任何其他 ODM 框架时在 MongoDB 中编码的内容。生成的图形接近对象关系数据模型。与分布在各个集合中的原始 JSON 表示相比，以对象和关系网络形式显示的图形更易于查询和理解。

简单来说：使用 mongo2neo4j，所有顶级 JSON 对象都将成为图节点。每个 JSON 对象的字段都会产生相应图节点的属性。默认情况下，嵌套数组元素也会成为节点，并通过关系链接到其原始节点。

对于 ODM 框架引入的每个对象引用（通过对象 ID），mongo2neo4j 都会与图形模型中对象的相应节点建立关系。正如我们稍后看到的，某些配置允许我们在必要时调整 JSON 对象到 Neo4j 节点的映射。

一旦我们的 JSON 集合可以作为数据图使用，就可以更轻松地查看节点之间的链接、掌握间接连接，并通过使用 SemSpect 等工具以交互方式探索图表来开发查询。

MEANS 示例

例如，让我们采用一个基于 MEAN 堆栈的简单商店应用程序，其中来自不同国家的用户可以订购各种产品。

我们使用随机生成的样本数据，其数据生成器由mongo2neo4j 示例目录 提供。当使用 Robo 3T 等 UI 检查 MongoDB 中的示例数据时，我们会看到四个集合，这是 在 mongoose 框架的帮助下在 models.js 中定义的 ODM 的结果。

代表订单的对象具有对用户（订购者）和产品（购买）的对象引用，如下图所示，一个订单的红色箭头所示。

生成的示例数据的集合

使用 MongoDB 查询语言通过 project 的级联可以找出法国用户订购了哪些产品 。但是，它过于复杂，绝对不适合临时数据分析。

因此，让我们使用 mongo2neo4j 提取数据集合并将其加载到 Neo4j 中，以查看数据如何显示在图形数据库中。我们只需安装 Python 包 mongo2neo4j 并运行数据转换：

为了成功执行，必须设置一个 Neo4j 数据库并接受远程 Cypher 命令（后者是本地连接的默认设置）。

从开头的 person 示例来看，我们期望每个集合中的任何顶级对象都成为结果图中的节点。嵌套对象也应成为节点。

查看上面显示集合拼贴的图像时，商店数据中唯一的嵌套是“订单”集合对象中的“产品”字段。此类字段的相应值是一个对象数组，其中每个数组对象包含对“产品”对象的引用以及带有订购数量的整数值。如何通过节点和边以及节点/边属性将此结构转换为 LPG 模型？

最简单的方法是将订单节点通过某种产品订单关系链接到产品节点，其中产品数量由相应关系的相应属性表示，如下所示。

但是，如果每个数组元素都包含另一个对象引用，这种映射类型将导致问题。Neo4j 背后的 LPG 模型仅允许两个对象之间的关系。因此，在 LPG 中建模此类构造的更通用方法是借助专用的新节点。

在数据建模的背景下，这种模式称为 具体化， 因为它通过引入明确表示这种关系的节点来具体化这种关系。原始关系的节点链接结果节点，并且还可以与多个其他节点相关或存储金额等属性。

mongo2neo4j 将源自嵌套对象的所有关系具体化，以支持任何类型的 n 元关系。

微调 ETL 流程

mongo2neo4j 中实现的默认映射将 MongoDB 中的所有对象引用转换为 Neo4j 中生成的图形模型的关系，如前所述。有配置选项可以将 ODM 的隐式编码链接转换为关系或为节点分配特定标签，具体取决于原始对象的字段值。

例如，我们可以看到“countries”是一个与给定 ODM 设计中的其他集合无关的集合。但是，此集合中的“isoname”对象字段的值（即法国）似乎与用户的“country”字段的值相匹配。

为了建立从用户到其国家/地区的联系，我们可以配置 mongo2neo4j 来创建这种关系，通过提供一对 . 对作为匹配条件：

要根据原始 MongoDB 对象的字段值为节点分配附加标签，我们可以使用“sublabel”选项。在我们的示例中，这对于根据用户的订阅计划对其进行分类非常有用。用户的订阅在“subscription”字段中编码为字符串值。要将这些值转换为 Neo4j 标签，我们指定哪些字段值应被视为标签（此处为“user.subscription”），标签是否应获得后缀（“_user”），以及如果没有值（“无订阅”）应使用什么标签：

此外，还有更多映射选项，例如从映射过程中排除集合或字段，以及指定 MongoDB 和 Neo4j 连接详细信息的选项。 有关配置选项的详尽描述，请参阅 脚本参数。

上面集合中显示的 MongoDB 数据摘录最终如下所示。

之前提出的有关法国用户的所有产品的分析问题现在对应于来自节点法国（蓝色圆圈）的图形遍历请求，该请求遍历所有相关用户及其产品订单。这可以通过 Neo4j Cypher 查询语言轻松完成：

编写这样的查询需要 Cypher 知识，但至少比 MongoDB 查询对应部分容易得多，因为 Cypher 使用基于文本的视觉描述来声明性地描述节点（写在圆括号中）和关系（写为“->”或“-[:relation-type]->”）查询模式。

然而，还有一种更简单的方法来编写此类查询 - 不需要任何查询语言技能或底层图形模型的知识：SemSpect。

SemSpect 和 MEANS

SemSpect 是一款无代码图形探索和可视化工具。它适用于 Neo4j 以及 RDF 图形数据。SemSpect 有一个免费版本，即 Neo4j Desktop 的 GraphApp，它有一些限制，但功能强大，足以认真探索大型 MongoDB 数据集 — — 至少对于我们的小示例而言。

注意 ： 请确保您使用的是 Neo4j Desktop 1.5.9，您可以 下载 。最新版本 (1.6.0) 将 Neo4j Desktop 置于维护模式，不再允许安装图形应用程序。

如果我们 MEANS 示例中的数据已经使用 Neo4j Desktop 存储在 Neo4j DBMS 中（说明位于 GitHub 上的 mongo2neo4j 示例 中），那么 SemSpect 就近在咫尺。只需直接从 Neo4j 开发人员图形应用程序库 安装 SemSpect 图形应用程序即可。

安装和设置 SemSpect 后，您将在左侧列表中看到 mongo2neo4j 导入的标签，如下图所示，以红色框突出显示。为不同订阅计划生成的附加标签按用户标签排序。SemSpect 会自动推断标签之间的子标签包含情况。在这里，其中一个订阅标签的所有用户也始终带有用户标签。

现在，您只需将其中一个标签拖放到 SemSpect UI 中间画布中的探索窗格上即可。为了回答我们的查询，我们从“国家”标签开始。放置在探索窗格中后，我们会看到组（蓝色圆圈）内的 10 个国家节点（灰色圆点）。在搜索框中搜索“法国”并按 Enter 时，我们会看到代表法国的节点，并用显示其名称的旗帜突出显示。

要探索从此节点到法国用户订购产品的路径，我们可以选择该节点并使用上下文菜单“探索节点的连接”。由于此节点仅通过传出国家关系连接到用户节点，因此我们只能选择此关系进行探索。

通过反复扩展“订单”组，然后扩展“订单_产品”组，如下所示，我们最终到达“产品”组。来自法国的订单的 134 种产品节点中的数字显示了该产品链接到左侧组中节点的频率。换句话说，这些数字显示了这些产品的订购频率。

我们找到了两件被订购三次的产品。其中一件是饮料 Celestial Brew。选择此节点会在右侧的详细信息档案中显示其属性。

我们还可以详细检查对象详细信息，并根据特定节点属性值对其进行分类。让我们从产品对象开始。在探索窗格中选择产品组后，我们可以打开一个表格视图，其中逐行列出了组对象的所有属性。

我们可以借助字符串、数字或日期时间限制按任何属性过滤节点。例如，让我们过滤“饮料”类别的产品。表格显示了结果的预览，使用 应用过滤器 ，我们可以限制探索图中的组。

现在，该产品组最终由 1,000 种产品中的 213 种饮料组成。

SemSpect 的一个独特功能允许我们在探索图表时从组中定义新标签。新定义的标签“饮料”在标签树中被组织为一种特殊的产品，随时可以作为新探索或过滤的起点。

我们还能发现什么？

让我们看看我们能用 SemSpect 解决哪些其他分析任务。假设我们要回答以下问题：

2022 年 8 月免费订阅用户订购的最突出的产品是什么？

有没有尚未订购商品的用户？

第一个问题的答案是，从“free_user”开始探索，然后扩展到“订单”，最后扩展到“产品”。由于我们对特定时间范围内的订单感兴趣，因此我们必须打开“订单”的表格视图，并通过日期过滤器选择器将“订单日期”限制为 9 月之前和 7 月之后。

这将订单限制在 2022 年 8 月。由于过滤限制会立即传播到探索图中，因此我们看到 2022 年 8 月有三款产品被免费订阅用户订购了两次。选择产品组时，右侧的档案选项卡还提供了描述组节点的自然语言描述。您还可以将这组结果节点下载为 CSV 文件。

最后，要找到没有订购任何商品的用户，我们必须从所有“用户”开始，然后扩展到“订单”。 “用户”组中的浅灰色用户节点是未连接到右侧“订单”组中的任何节点的用户节点。 我们可以使用“用户”组的上下文菜单并选择“未连接到右侧任何组的节点”，轻松地为它们添加标记。

总结

很难对基于 MongoDB 数据库构建的服务的数据进行概览和洞察。这适用于所有使用 MongoDB 数据存储的应用程序，尤其是如果使用对象关系模型在集合之间建立对象引用，就像采用 MEAN 堆栈的情况一样。

我们提供了一个方便的工具包，其中包含 mongo2neo4j 数据转换器、Neo4j 数据库以及图形探索和查询应用程序 SemSpect，它建立了一个可配置的工作流程，可以真正连接隐藏在 MEAN 堆栈的 MongoDB 数据库中的点。这是查找数据或应用程序中的数据缺陷以及回答相关 BI 问题的关键。

好消息是，这里介绍的工作流程是免费的。mongo2neo4j和 Neo4j 社区都是 GPL 3.0， SemSpect 附带免费模型。但是，当您的数据增长到一定规模以上时，或者您希望使工作流程专业化，或者如果您想享受完整的性能和功能，您可以切换到 Neo4j 和 SemSpect 的企业版。

原文链接：https://medium.com/neo4j/graph-exploration-by-all-means-with-mongo2neo4j-and-semspect-382e55c14c4c

原文作者：