在数据分析和建模过程中，外部模型（External Models）在 SQLMesh 中扮演着重要角色。外部模型允许用户引用外部数据源或现有数据库表，从而实现灵活的数据整合和分析。本文将介绍外部模型的定义、生成方法（包括使用 CLI 和 YAML 文件）、审计功能，以及如何在实际项目中应用外部模型。通过一个具体的示例，我们将展示如何定义和使用外部模型来分析客户数据，帮助用户更好地理解和利用 SQLMesh 的强大功能。
外部模型（External Models）定义
在 SQLMesh 中，外部模型（External Models）是指那些引用外部数据源或现有数据库表的模型。这些模型允许用户将外部数据集整合到 SQLMesh 的数据管道中，从而实现更灵活的数据处理和分析。外部模型通常用于连接和使用已经存在的数据，而无需在 SQLMesh 中重新定义这些数据。
如何生成外部模型
1. 使用 CLI 生成外部模型
SQLMesh 提供了命令行界面（CLI），用户可以通过 CLI 命令来创建和管理外部模型。以下是一个基本的命令示例，用于生成外部模型：
sqlmesh create external --name customers --source external_database.customers
这个命令会创建一个名为 customers 的外部模型，引用 external_database 中的 customers 表。
2. 使用 YAML 文件定义外部模型
SQLMesh 还支持通过 YAML 文件定义外部模型。用户可以在 YAML 文件中指定外部模型的名称和数据源。以下是一个示例 YAML 文件：
# models/external/customers.yaml
version: 1
models:
- name: customers
type: external
source: external_database.customers
通过这种方式，用户可以更直观地管理外部模型的定义。
外部模型审计
SQLMesh 提供了审计功能，允许用户跟踪外部模型的使用情况和变更。这对于在内部模型评估之前检查上游依赖项的数据质量非常有用。
这个例子展示了一个带有两个审计的外部模型。
- name: raw.demographics
description: Table containing demographics information
audits:
- name: not_null
columns: "[customer_id]"
- name: accepted_range
column: zip
min_v: "'00000'"
max_v: "'99999'"
columns:
customer_id: int
zip: text
用户可以通过 SQLMesh 的 CLI 命令查看外部模型的状态和历史记录。例如，使用以下命令可以查看外部模型的审计信息：
sqlmesh audit external --name customers
这个命令将显示与 customers 外部模型相关的所有变更和使用记录，帮助用户了解模型的使用情况。
实际示例
假设我们在一个数据分析项目中，需要分析来自不同数据源的客户数据。我们可以使用外部模型来整合这些数据。
- 定义外部模型：我们可以使用 YAML 文件定义外部模型，如下所示：
# models/external/customers.yaml
version: 1
models:
- name: customers
type: external
source: external_database.customers
- 生成外部模型：通过 CLI 命令或直接使用 YAML 文件，SQLMesh 将会识别并生成外部模型。
- 查询外部数据：在 SQLMesh 中，我们可以使用这个外部模型进行查询和分析。例如，我们可以创建一个分析模型，计算客户的订单总额：
-- models/analysis/customer_orders.sql
SELECT
c.id AS customer_id,
c.name AS customer_name,
SUM(o.amount) AS total_orders
FROM
external.customers c
JOIN
external.orders o ON c.id = o.customer_id
GROUP BY
c.id, c.name
详细解释示例
在上述示例中，外部模型 customers.yaml 允许我们直接访问外部数据库中的客户数据。通过将外部模型与其他数据模型结合使用，我们可以进行复杂的数据分析。
- 数据整合：外部模型使得不同数据源的数据整合变得简单。用户可以轻松地将外部数据与 SQLMesh 中定义的数据结合，进行更全面的分析。
- 灵活性：使用外部模型，用户可以灵活地引用和使用现有的数据，而无需担心数据的重复定义和管理。
- 审计功能：通过 SQLMesh 的审计功能，用户可以跟踪外部模型的使用情况，确保数据的透明性和可追溯性。
通过外部模型，SQLMesh 提供了一种高效的方式来整合和分析来自不同来源的数据，帮助用户更好地利用现有的数据资源。
最后总结
外部模型为 SQLMesh 提供了强大的数据整合能力，使得用户能够轻松地引用和使用现有的数据源。通过 CLI 和 YAML 文件，用户可以方便地定义外部模型，并利用 SQLMesh 的审计功能跟踪模型的使用情况。在实际项目中，外部模型的灵活性和可扩展性使得数据分析变得更加高效。通过本文的示例，我们展示了如何在数据分析项目中应用外部模型，整合来自不同来源的数据，为决策提供支持。总之，外部模型是 SQLMesh 中不可或缺的组成部分，为数据管理和分析提供了强有力的支持。
