Arquitecturas Modernas de Datos

Lambda Architecture

Las 3 Capas de Lambda

• Batch Layer: Procesa el dataset completo histórico periódicamente (horas/días). Resultados precisos y exactos. Herramientas: Spark, Hadoop. Storage: HDFS, S3.
• Speed Layer: Procesa solo los datos recientes desde el último batch. Resultados aproximados pero de baja latencia. Herramientas: Kafka Streams, Flink, Spark Streaming.
• Serving Layer: Combina las vistas de batch y speed para responder queries. Responde la pregunta "¿cuál es el estado del sistema ahora mismo?" fusionando resultados exactos (batch) con los recientes (speed).

Kappa Architecture

Kappa en Acción: Reprocessing

# Kappa Architecture: Re-procesamiento desde Kafka
# Cuando cambias la lógica, simplemente replay desde el offset 0

from confluent_kafka import Consumer, Producer
import json

def reprocess_from_beginning(topic: str, new_processor):
    """Replay todos los eventos desde el inicio para re-calcular resultados."""
    consumer = Consumer({
        'bootstrap.servers': 'kafka:9092',
        'group.id': f'reprocess_{topic}_{datetime.now().timestamp()}',
        'auto.offset.reset': 'earliest',  # 🔑 Desde el principio
    })
    consumer.subscribe([topic])
    
    print(f"🔄 Starting reprocessing of topic: {topic}")
    processed = 0
    
    while True:
        msg = consumer.poll(timeout=5.0)
        if msg is None:
            print(f"✅ Reprocessing complete: {processed:,} events")
            break
        if msg.error():
            break
        
        event = json.loads(msg.value().decode('utf-8'))
        new_processor.process(event)
        processed += 1
    
    consumer.close()

# Ventaja clave: cambiar la lógica = solo replay el topic
# No hay batch layer que recalcular por separado

Medallion Architecture

Implementación con Delta Lake y dbt

# ── BRONZE: Ingesta raw con Delta Lake ────────────────────────────────────
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("medallion").getOrCreate()

# Ingesta raw desde S3 → Bronze Delta Table
raw_df = spark.read.json("s3://bucket/raw/orders/2026/01/01/")
(raw_df
    .withColumn("_ingested_at", current_timestamp())
    .withColumn("_source_file", input_file_name())
    .write.format("delta")
    .mode("append")
    .partitionBy("_ingested_date")
    .save("s3://bucket/bronze/orders/")
)

# ── SILVER: Limpieza con PySpark ──────────────────────────────────────────
from pyspark.sql.functions import col, when, trim, lower, to_timestamp

bronze_df = spark.read.format("delta").load("s3://bucket/bronze/orders/")

silver_df = (bronze_df
    # Eliminar duplicados
    .dropDuplicates(["order_id"])
    # Limpiar tipos
    .withColumn("order_date", to_timestamp(col("order_date"), "yyyy-MM-dd'T'HH:mm:ss"))
    .withColumn("amount", col("amount").cast("decimal(10,2)"))
    .withColumn("customer_email", lower(trim(col("customer_email"))))
    # Filtrar inválidos
    .filter(col("order_id").isNotNull())
    .filter(col("amount") >= 0)
    # SCD2 merge
)

DeltaTable.forPath(spark, "s3://bucket/silver/orders/") \
    .alias("target").merge(
        silver_df.alias("source"),
        "target.order_id = source.order_id"
    ).whenMatchedUpdateAll() \
     .whenNotMatchedInsertAll() \
     .execute()

# ── GOLD: Agregaciones con dbt ────────────────────────────────────────────

-- dbt model: gold/mart_sales_monthly.sql
-- Materialización como tabla (para mejor performance BI)
{{ config(materialized='table', schema='gold') }}

WITH silver_orders AS (
    SELECT * FROM {{ ref('silver_orders') }}
    WHERE order_status NOT IN ('cancelled', 'returned')
),
monthly_metrics AS (
    SELECT
        DATE_TRUNC('month', order_date) AS month,
        customer_segment,
        product_category,
        COUNT(DISTINCT order_id)          AS order_count,
        COUNT(DISTINCT customer_id)       AS unique_customers,
        SUM(order_amount)                 AS gross_revenue,
        SUM(discount_amount)              AS total_discounts,
        SUM(order_amount - discount_amount) AS net_revenue,
        AVG(order_amount)                 AS avg_order_value,
        SUM(order_amount) / COUNT(DISTINCT customer_id) AS revenue_per_customer
    FROM silver_orders
    GROUP BY 1, 2, 3
)
SELECT
    *,
    SUM(net_revenue) OVER (PARTITION BY customer_segment ORDER BY month) AS cumulative_revenue,
    net_revenue / SUM(net_revenue) OVER (PARTITION BY month) AS market_share
FROM monthly_metrics

Data Mesh

Los 4 Principios del Data Mesh

Data Fabric

Componentes del Data Fabric

• Knowledge Graph: Grafo de metadatos que conecta conceptos, datasets, transformaciones y usuarios
• Active Metadata: Metadatos que no solo describen sino que se usan para automatizar decisiones (qué pipeline correr, qué calidad validar)
• Unified Catalog: Vista única de todos los datos de la organización, sin importar dónde viven
• Intelligent Integration: ML que automatiza mapeos de datos, detección de anomalías y optimización de pipelines
• Virtual Data Access: Consultar datos en su ubicación original sin moverlos (data virtualization)

Comparativa Global de Arquitecturas