Buscar K
Aparência
Modos de carga
- Tipo
- Referência
- Para
- Engenharia de dados, Desenvolvedor
- Na tela
- HorusETL › Data Flows › editor do Dataflow › Carga
Os valores que definem a carga de um Dataflow e a janela de cada execução. O que cada eixo faz está em Tipos de carga.
Campos
| Na tela | No YAML (flow) | Tipo | Padrão | Regra |
|---|---|---|---|---|
| Extração | load_type | Total, Temporal, Incremental | obrigatório | Temporal aparece como Janela na tela |
| Coluna de janela / Coluna de corte | load_type_column | texto | vazio | obrigatória para Substituir a janela; na Janela, só coluna de data |
| Gravação | write_mode | replace_all, replace_window, upsert_by_key, insert_only | derivada | ver Gravação derivada |
| Sincronizar exclusões | key_sweep.sql, key_sweep.credentialId | objeto | vazio | só com load_type: Incremental e destino table com Chave Única e colunas-chave |
Gravação
| Na tela | write_mode | Apaga antes de inserir | Exige |
|---|---|---|---|
| Substituir tudo | replace_all | o que o Dataflow gravou antes, naquele Agente ETL; a tabela inteira quando ela tem um único Dataflow produtor | nada |
| Substituir a janela | replace_window | as linhas do Dataflow, naquele Agente ETL, cuja coluna de janela cai no intervalo | load_type_column |
| Atualizar por chave | upsert_by_key | nada | destino table com Chave Única e colunas-chave; com Janela, Agente ETL 1.28.0 ou mais novo |
| Somente inserir | insert_only | nada | destino que não deduplica |
Combinações aceitas
load_type | write_mode aceitos |
|---|---|
Total | replace_all |
Temporal | replace_window, upsert_by_key |
Incremental | upsert_by_key, insert_only |
Gravação derivada
Com write_mode vazio ou ausente:
load_type | Gravação usada |
|---|---|
Total | replace_all |
Temporal | replace_window |
Incremental | upsert_by_key se o destino tem Chave Única com colunas-chave; senão insert_only |
Contexto de execução
| Na tela | Contexto | Janela |
|---|---|---|
| Total | Total | 01/01/1910 a 01/01/2100; troca toda a parte do Dataflow, qualquer que seja a Gravação |
| Temporal (Passado), Últimos N dias | Temporal:Days:N | hoje menos N dias até hoje |
| Temporal (Futuro), Próximos N dias | Temporal:Future:N | hoje até hoje mais N dias |
| Mês MM/AAAA | Temporal:Month:M-AAAA | o mês inteiro |
| Ano de AAAA | Temporal:Year:AAAA | o ano inteiro; Temporal:Year:Current é o ano corrente |
| Incremental | Incremental | do ponto de corte em diante |
| Sincronizar exclusões | KeySweep | roda só a consulta de chaves |
No YAML do agendamento, Temporal e TemporalFuture são formas curtas que o Lumo expande com o número de dias de temporal_value (1 ou mais). Mês e ano se escrevem na forma completa.
Se o Tenant tem limite de data para cargas temporais, configurado no HEC, o início de qualquer janela, inclusive a do contexto Total, não recua além desse limite.
Exemplo
yaml
load_type: Temporal
load_type_column: DATA_EMISSAO
write_mode: replace_windowyaml
load_type: Incremental
load_type_column: ATUALIZADO_EM
write_mode: upsert_by_key
key_sweep:
sql: SELECT id AS PEDIDO_ID FROM pedidos
credentialId: 42Limites
Combinação fora da tabela é recusada ao salvar:
Extração "Janela" não aceita a Gravação "X". Com essa Extração a Gravação precisa ser ...Gravação "x" não existe. Valores aceitos: replace_all, replace_window, upsert_by_key, insert_only.A Gravação "Substituir a janela" precisa da coluna de janela preenchida: é ela que define o intervalo a ser substituído no destino.
Atualizar por chave sem chave no destino:
A tabela "X" é do tipo "Y", e não uma tabela do Datawarehouse: a Gravação "Atualizar por chave" existe só para tabela do Datawarehouse...A tabela "X" não tem chave única: com a Gravação "Atualizar por chave" cada registro alterado entraria como linha nova em vez de substituir a anterior. Marque a chave única na tabela antes de escolher esta Gravação.
Somente inserir num destino que deduplica é recusado, com a indicação de usar "Atualizar por chave".
Um Dataflow que passa a ser Incremental sobre uma tabela sem Chave Única é recusado: A tabela "X" não tem chave única: com carga Incremental, cada registro alterado entraria como linha nova em vez de substituir a anterior. Marque a chave única na tabela, ou use carga Total ou Temporal. A recusa vale só para tabela do Datawarehouse. Por isso, sobre tabela do Datawarehouse, Incremental com Somente inserir só existe em Dataflow que já era Incremental.
Janela com Atualizar por chave exige Agente ETL 1.28.0 ou mais novo: Este dataflow usa a Gravação "Atualizar por chave" com Extração "Janela", que exige Agente ETL 1.28.0 ou mais novo.
Um contexto de janela num Dataflow que não é de Janela, ou sem coluna de janela, falha na execução em vez de apagar a tabela inteira: Contexto '…' pede carga por janela, mas … Corrija o flow para load_type=Temporal com load_type_column preenchido, ou execute este flow com contexto Total. Com a Gravação Atualizar por chave ou Somente inserir declarada, nada seria apagado, e a execução segue com a janela.
Na execução, o Agente ETL confere de novo a chave do destino, porque ela pode ter sido tirada depois de salvar: A Gravação "Atualizar por chave" exige que a tabela "X" tenha chave única marcada, e ela está como ...
Uma variável DeletePredicate definida por um Configurador substitui a condição de exclusão e vence a Gravação.
Pelo Lumo CLI
Este recurso também pode ser criado e versionado em YAML. Veja a referência de flow.