DL 2.0 Novo Bucket
bucket: Nome do bucket
environment: Ambiente (ex: Desenvolvimento(dev), Homologação(hml) e Produção(prod))
layer: Camada do datalake (ex: Stage, Bronze, Silver e Gold)
name_requester: Nome do solicitante (ex: linx, nielsen, neogrid)
name_process: Nome do processo | linx-dl-seqNumber-nome-processo (ex: linx-dl-02-search-cpf) Obs: Quando o processo tiver mais de uma palavra, separá-las por hífen "-".
date_source: Fonte de dado
date_process: Referência de data
sub_data_source: Sub nível da fonte de dado
DEV = 018315387169
PROD = 007100180299
Função de governança de dados
def generate_path(bucket, environment, layer, name_requester, name_process, date_source, date_process, sub_data_source = None):
if sub_data_source is None:
path = f"s3a://{bucket}/data/{environment}/{layer}/{requester}/{name_process}/{date_source}/{date_process}"
else:
path = f"s3a://{bucket}/data/{environment}/{layer}/{requester}/{name_process}/{date_source}/{sub_data_source}/{date_process}"
return path
Processos atuais:
| número_processo | nome_processo | descrição | criador |
|---|---|---|---|
| 1 | linx-dl-01-lojas-ativas-monitoramento | Processo de monitoria de lojas ativas para prevenção de Churns e disparo de e-mail | João Victor |
| 2 | linx-dl-02-search-cpf | Processo para encontrar CPF´s no Datalake | João Victor |
| 3 | linx-dl-03-faturamento-rede-cnae | Processo para gerar o faturamento de redes por CNAE - Atualmente solicitado pela Neogrid | João Victor |
| 4 | linx-dl-04-quantitivo-lojas-financeiro | Processo para contabilizar as lojas enviadas aos clientes para o financeiro utilizar como base na cobrança | Luciano Siqueira |
| 5 | linx-dl-05-new-products-nielsen | Processo para gerar novo datashipping de nielsen conv | João Victor |
6 | |||
| 7 | |||
| 8 |
Dicionário para padronização dos nomes colunas:
Nomenclatura dos Prefixos:
Nomenclatura dos Prefixos:
número = nr_ (Inteiro)
valor = vl_ (Decimal/Float)
descrição = dsc_ (Alfanumerico)
nome = nm_ (Alfanumerico)
codigo = cod_ (Alfanumerico)
data = dt_ (Alfanumerico/Datetime/Timestamp)
identificador = id_ (Alfanumerico)
flag = flg_ (Tipos) (Alfanumerico)
Booleano = bool_ (Booleano)
lista+dic = lsdic_ (lista[dicionário])
dicionário = dic_ (dicionário)
lista = ls_ (lista)
Exemplos:
customerCnpj => cod_consumidor_cnpj
customerCpf => cod_consumidor_cpf
customeremail => dsc_consumidor_email
customerphone => nr_consumidor_telefone
domain => nm_automacao
datetime => dt_transacao_venda
productCode => cod_produto => Alfanumérico
ean => cod_ean => Alfanumérico
listPrice => preco_tabela => vl_preco_tabela
OrderPayments => lsdic_pagamento_transacao_venda
webInfos => REMOVER COLUNA/não iremos usar este campo