Introdução
O processo silver representa uma etapa intermediária em que os dados brutos provenientes da zona bronze são transformados e organizados em formatos mais estruturados. Especificamente, no processo silver:
Transformação e Reestruturação dos Dados:
- Os dados brutos (por exemplo, arquivos XML da zona bronze) passam por limpeza, validação e enriquecimento.
- São reestruturados em novas colunas, combinando informações relevantes e garantindo consistência.
- Tarefas comuns incluem conversões de tipos de dados, análise e tratamento de valores ausentes.
Definição de Esquema:
- O esquema para os dados estruturados é estabelecido.
- São criadas tabelas ou estruturas de dados que se alinham com os dados transformados.
- O design do esquema garante que os dados sejam organizados de forma lógica e eficiente.
Armazenamento em Tabelas Estruturadas:
- Os dados transformados são armazenados em tabelas estruturadas (por exemplo, bancos de dados relacionais, data warehouses).
- As tabelas possuem colunas bem definidas, índices e relacionamentos.
- Esse armazenamento organizado permite consultas e análises eficientes.
O processo silver preenche a lacuna entre os dados brutos e os insights refinados. Ele prepara os dados para análises posteriores, relatórios e aprendizado de máquina. Nas etapas subsequentes (o processo gold), exploraremos análises avançadas e inteligência de negócios usando os dados estruturados armazenados nessas tabelas.
Lista de aplicações.
linx-silver-01-tratamento-solditems
Execution | Time |
---|---|
recorrência | processo diário |
horário | após as 03:00 AM |
duração média | 55min |
EMR
Step Functions
EventBridge
Bucket s3://linx-datalake-prod-007100180299-silver/
linx-silver-04-tratamento-solditems-nfe
Execution | Time |
---|---|
recorrência | processo diário |
horário | após as 04:30 AM |
duração média | 17min |