Технические метаданные:

• Описание структуры таблиц (хабы, линк-и, сателлиты).
• Информация о ключах, индексах, типах данных.

Пример:
Таблица Metadata_Tables содержит описание всех таблиц в Data Vault.

CREATE TABLE Metadata_Tables (
    TableName NVARCHAR(100),
    TableType NVARCHAR(50),  -- Hub, Link, Satellite
    SourceSystem NVARCHAR(100),
    CreatedDate DATE
);

INSERT INTO Metadata_Tables VALUES 
    ('Hub_Passengers', 'Hub', 'BookingSystem', '2025-01-01'),
    ('Sat_PassengerDetails', 'Satellite', 'BookingSystem', '2025-01-01');

Бизнес-метаданные:

• Описание бизнес-ключей и их значений.
• Информация о правилах трансформации данных.

Пример:
Таблица Metadata_BusinessKeys описывает, как бизнес-ключи связаны с источниками.

CREATE TABLE Metadata_BusinessKeys (
    BusinessKeyName NVARCHAR(100),
    SourceSystem NVARCHAR(100),
    TransformationRule NVARCHAR(200)
);

INSERT INTO Metadata_BusinessKeys VALUES 
    ('PassengerID', 'CRMSystem', 'Trim and Uppercase'),
    ('BookingID', 'BookingSystem', 'As Is');

Операционные метаданные:

• Логи процессов ETL/ELT.
• История загрузки данных (даты, объём, статус).

Пример:
Таблица Metadata_LoadHistory хранит информацию о процессах загрузки.

CREATE TABLE Metadata_LoadHistory (
    TableName NVARCHAR(100),
    LoadDate DATETIME,
    RowCount INT,
    LoadStatus NVARCHAR(50)
);

INSERT INTO Metadata_LoadHistory VALUES 
    ('Hub_Passengers', '2025-01-02 10:00:00', 1000, 'Success'),
    ('Sat_PassengerDetails', '2025-01-02 10:10:00', 2000, 'Success');

Обновление метаданных:
Запись о новом поле добавляется в таблицу метаданных.

INSERT INTO Metadata_Tables VALUES 
    ('Sat_CustomerDetails', 'Satellite', 'CRMSystem', '2025-01-03');
INSERT INTO Metadata_BusinessKeys VALUES 
    ('CustomerTier', 'CRMSystem', 'As Is');

Автоматизация генерации ETL-процессов:
На основе метаданных автоматически создаются SQL-скрипты для обработки нового поля.

INSERT INTO Sat_CustomerDetails (HubCustomerKey, LoadDate, CustomerTier)
SELECT 
    HubCustomerKey, 
    GETDATE() AS LoadDate, 
    CustomerTier
FROM 
    Staging_Customers;

Системы управления метаданными:

• Apache Atlas: для отслеживания lineage и обеспечения соответствия.
• Collibra: для каталогизации данных и управления бизнес-метаданными.

Хранилища метаданных:

• Использование отдельных таблиц в реляционной базе данных для хранения метаданных.

BI-инструменты:

• Power BI или Tableau могут интегрироваться с хранилищем метаданных для предоставления аналитики по качеству данных.

Использование метаданных:
Метаданные описывают структуру таблиц, связи между ними и правила трансформации данных.

Пример таблицы метаданных:

CREATE TABLE Metadata_ETL (
    TableName NVARCHAR(100),
    ColumnName NVARCHAR(100),
    ColumnType NVARCHAR(50),
    SourceTable NVARCHAR(100),
    SourceColumn NVARCHAR(100),
    TransformationRule NVARCHAR(200)
);

INSERT INTO Metadata_ETL VALUES 
    ('Hub_Passengers', 'PassengerKey', 'INT', 'Staging_Passengers', 'PassengerID', 'Generate Surrogate Key'),
    ('Sat_PassengerDetails', 'Name', 'NVARCHAR(100)', 'Staging_Passengers', 'FullName', 'As Is'),
    ('Link_PassengerFlights', 'HubPassengerKey', 'INT', 'Staging_Bookings', 'PassengerID', 'Generate Surrogate Key');

Динамическая генерация SQL-кода:
С помощью метаданных можно автоматически генерировать SQL-скрипты для загрузки данных.

Пример динамической генерации SQL:
На основе метаданных пишется скрипт для загрузки данных в хаб.

DECLARE @SQL NVARCHAR(MAX);

SELECT @SQL = STRING_AGG(
    'INSERT INTO ' + TableName + ' (' + ColumnName + ')
     SELECT ' + SourceColumn + ' 
     FROM ' + SourceTable, 
    '; '
)
FROM Metadata_ETL
WHERE TableName = 'Hub_Passengers';

EXEC sp_executesql @SQL;

Шаблоны ETL-процессов:
Создание универсальных шаблонов для ETL с использованием параметров, которые заполняются метаданными.

Пример шаблона:

INSERT INTO {TargetTable} ({TargetColumns})
SELECT {SourceColumns}
FROM {SourceTable};

Скрипт на Python для заполнения шаблона:

import pandas as pd

# Читаем метаданные
metadata = pd.read_sql("SELECT * FROM Metadata_ETL", connection)

# Формируем SQL-скрипт
for table in metadata['TableName'].unique():
    target_columns = ", ".join(metadata[metadata['TableName'] == table]['ColumnName'])
    source_columns = ", ".join(metadata[metadata['TableName'] == table]['SourceColumn'])
    source_table = metadata[metadata['TableName'] == table]['SourceTable'].iloc[0]

    sql = f"""
    INSERT INTO {table} ({target_columns})
    SELECT {source_columns}
    FROM {source_table};
    """
    print(sql)  # Для отладки или выполнения

Инструменты автоматизации:

• DBT (Data Build Tool): для написания и управления шаблонами SQL.
• Talend, Informatica, Apache NiFi: автоматизация с использованием графических интерфейсов.

Шаг 1: Добавление метаданных
Метаданные описывают соответствие между колонками staging-таблицы и хаба.

INSERT INTO Metadata_ETL VALUES 
    ('Hub_Passengers', 'PassengerKey', 'INT', 'Staging_Passengers', 'PassengerID', 'Generate Surrogate Key'),
    ('Hub_Passengers', 'LoadDate', 'DATE', 'Staging_Passengers', 'LoadTimestamp', 'CAST to DATE');

Шаг 2: Генерация SQL-кода
На основе метаданных создаётся SQL-скрипт.

INSERT INTO Hub_Passengers (PassengerKey, LoadDate)
SELECT 
    HASHBYTES('SHA1', CAST(PassengerID AS NVARCHAR(MAX))) AS PassengerKey,
    CAST(LoadTimestamp AS DATE) AS LoadDate
FROM Staging_Passengers;

Шаг 3: Автоматическое выполнение
ETL-фреймворк (например, Python или DBT) использует шаблон для выполнения кода.