Lakehouse Factory

Operação do pipeline de pedidos · Pub/Sub, Datastream e GCS → Dataflow → BigQuery + dbt → Looker

AO VIVO --:--
Projeto — Região — Ambiente prod Período últimos 60 min
orders-api
—req/s
—
Backlog do Pub/Sub
—msgs não confirmadas
—
Linhas ingeridas hoje
—
—
Testes dbt aprovados
—%
—
Dentro do SLA de 60 min
—%
—
Custo de execução
—/h
—
clique em qualquer objeto da cena

Requisições da orders-api

req/s

Backlog da assinatura no Pub/Sub

mil msgs · alerta em 2 mi

Testes dbt por minuto

aprovados reprovados

Freshness por fonte

min desde o último lote entregue

Workers Dataflow

autoscaling · máx. 9

Rastreamento de lote

Camadas no BigQuery · hoje

separação: dedup por event_id e filtro de pedidos de teste no staging
CamadaTabelaFilaEntraramSaíramRemovidas

Eventos

    Linha do incidente