Introdução
O processo bronze refere-se à etapa inicial de ingestão e armazenamento de dados. Quando lidamos com arquivos XML, o processo bronze envolve os seguintes passos:
Ingestão de Dados:
- Coleta de arquivos XML brutos .
- Esses arquivos XML geralmente não são processados e podem conter ruído, inconsistências e dados redundantes.
Armazenamento na Zona Bronze:
- Armazenamento dos arquivos reestruturados a um bucket data lake.
Lista de aplicações.
linx-bronze-02-ingestion-fiscalflow-cfe
Execution | Time |
---|---|
recorrência | processo diário |
horário | após as 04:00 AM |
duração média | 23min |
EMR
Step Functions
EventBridge
Bucket s3://linx-datalake-prod-007100180299-bronze/cfe-v1-fiscalflow
linx-bronze-02-ingestion-fiscalflow-nfe
Execution | Time |
---|---|
recorrência | processo diário |
horário | após as 03:00 AM |
duração média | 60min |