Buscar K
Aparência
Gastar menos processamento
- Tipo
- Como fazer
- Para
- Engenharia de dados
- Na tela
- HorusETL › Agendamentos › Logs de Execução
O Processamento do Tenant conta o arquivo que cada execução de Dataflow grava no HorusDW, somado ao longo do mês, mais a média armazenada. Quando a cota esvazia em poucos dias, a causa quase sempre é um Dataflow regravando a mesma coisa várias vezes. Como o Processamento é medido e cobrado está em Recursos, limites e cobrança.
Antes de começar
Saiba quanto o Tenant consumiu no mês. A Home do HEC mostra o card Storage + Processamento; confira o período escolhido na tela antes de ler o número.
Achar o Dataflow que mais grava
- Abra Agendamentos e entre nos logs de um agendamento frequente.
- Abra o log de cada Dataflow e olhe a coluna Tamanho Enviado: é o arquivo que aquela execução mandou ao HorusDW.
- Multiplique pelo número de execuções no mês. O candidato típico é uma carga Total ou uma Janela larga sobre tabela grande, rodando várias vezes ao dia.
O custo de um Dataflow no mês é, aproximadamente, o tamanho enviado por execução vezes o número de execuções.
Reduzir o que cada execução grava
Troque Total por Incremental ou Janela. A Total grava a tabela inteira a cada execução; a Incremental grava só o que mudou, e a Janela só a janela. A escolha depende da origem; siga Escolher a carga de uma tabela. Ao sair da Total, decida antes como a exclusão na origem vai chegar ao destino; ver Exclusões na origem.
Estreite a janela. Use a menor janela que ainda cobre o período em que a origem corrige ou apaga registros. Antes, confira se a consulta usa {StartDate} e {EndDate}: sem elas, a origem devolve tudo e estreitar não muda nada.
Corte colunas que ninguém usa. O arquivo é Parquet, comprimido por coluna. Coluna de poucos valores diferentes, como status ou filial, quase não pesa; texto livre, UUID e data com milissegundos pesam muito. Comece por essas.
Reduzir quantas vezes ele roda
Em Total e Janela, rodar o dobro de vezes grava o dobro. Em Incremental, rodar mais vezes quase não muda o total, a menos que a mesma linha mude várias vezes no dia: aí cada execução regrava a linha.
Para uma origem que quase não muda, troque o gatilho por horário pelo gatilho de mudança de dados. O Dataflow só roda quando a origem mudou.
Faça a mesma conta para a janela. Uma janela de 30 dias recarregada de hora em hora roda 720 vezes no mês e grava 720 × 30 = 21.600 dias de dado. Uma Total diária grava 30 vezes o histórico inteiro. Com menos de 720 dias (2 anos) de histórico, a janela de hora em hora grava mais que a Total diária. Ver Montar janelas em escada.
O que não reduz
Máquina maior para o Agente ETL, driver mais rápido e compressão no banco de origem deixam a execução mais rápida, mas o arquivo gravado continua o mesmo.
Se der errado
O consumo não caiu depois de estreitar a janela. A consulta não usa as variáveis da janela. Ponha {StartDate} e {EndDate} no WHERE.
A tabela duplicou depois de trocar para Incremental. O destino está sem Chave Única. Marque a chave antes de trocar; ver Tipos de carga.
Relacionado
Pelo Lumo CLI
Este recurso também pode ser criado e versionado em YAML. Veja a referência de flow.