Visão Geral do Datalake
Arquitetura de engenharia de dados, ingestão territorial e orquestração no Urbis Datalake.
O Urbis Datalake é a espinha dorsal de engenharia de dados geoespaciais e tabulares do ecossistema Urbis. Construído com base no orquestrador Dagster, PostGIS, GeoServer e MinIO / Azure Blob Storage, o Datalake é responsável por extrair, padronizar, enriquecer e materializar centenas de camadas geográficas municipais e estaduais (como GeoSampa, IBGE, GeoCATI, IPTU e CEDI).
🏛️ Pilares da Arquitetura de Dados
📂 Guias e Tópicos de Dados
Arquitetura de Medalhão
Entenda as camadas Raw, Bronze, Silver e Gold (PostGIS e GeoServer).
Agendamento & Reconciliação
Auto-materialização declarativa e propagação eager downstream no Dagster.
Gerador de Assets
Automação de boilerplate para ingestão de camadas WFS e ArcGIS.
Remapeamento de Colunas
Padronização de tipagens, DE-PARAs e nomes legíveis na camada Silver.
Catálogo de Camadas
Catálogo indexado de mais de 7.500 arquivos no Azure Storage e SAS URLs.
🛠️ Tecnologias Utilizadas
- Dagster: Orquestrador moderno orientado a Software-Defined Assets (SDAs).
- PostgreSQL 16 + PostGIS 3.4: Banco de dados relacional e motor espacial.
- GeoServer: Servidor de mapas para protocolos OGC (WMS/WFS).
- GeoPandas / Shapely / PyProj: Manipulação vetorial e transformações cartográficas de alta precisão em Python.
- MinIO & Azure Blob Storage (
openurbisdatalake): Object storage distribuído para persistência em formato GeoJSON e Parquet.