Introdução 

O processo silver representa uma etapa intermediária em que os dados brutos provenientes da zona bronze são transformados e organizados em formatos mais estruturados. Especificamente, no processo silver:

1. Transformação e Reestruturação dos Dados:

   • Os dados brutos (por exemplo, arquivos XML da zona bronze) passam por limpeza, validação e enriquecimento.
   • São reestruturados em novas colunas, combinando informações relevantes e garantindo consistência.
   • Tarefas comuns incluem conversões de tipos de dados, análise e tratamento de valores ausentes.

2. Definição de Esquema:

   • O esquema para os dados estruturados é estabelecido.
   • São criadas tabelas ou estruturas de dados que se alinham com os dados transformados.
   • O design do esquema garante que os dados sejam organizados de forma lógica e eficiente.

3. Armazenamento em Tabelas Estruturadas:

   • Os dados transformados são armazenados em tabelas estruturadas (por exemplo, bancos de dados relacionais, data warehouses).
   • As tabelas possuem colunas bem definidas, índices e relacionamentos.
   • Esse armazenamento organizado permite consultas e análises eficientes.

O processo silver preenche a lacuna entre os dados brutos e os insights refinados. Ele prepara os dados para análises posteriores, relatórios e aprendizado de máquina. Nas etapas subsequentes (o processo gold), exploraremos análises avançadas e inteligência de negócios usando os dados estruturados armazenados nessas tabelas.

Lista de aplicações.

• linx-silver-01-tratamento-solditems

           EMR   

           Step Functions 

           EventBridge

           Bucket   s3://linx-datalake-prod-007100180299-silver/

• linx-silver-04-tratamento-solditems-nfe     

           EMR   

           Step Functions 

           EventBridge

           Bucket   s3://linx-datalake-prod-007100180299-silver/