HorusETL

Tipo

Visão geral

Para

Engenharia de dados

O HorusETL é onde se montam as cargas que trazem o dado dos sistemas de origem para o Lumo. Cada carga é um Dataflow, desenhado nó por nó na tela: um nó lê a origem (banco, planilha ou API), outros podem transformar o dado, e um nó de destino grava numa tabela do HorusDW, o data warehouse do Lumo. Um Agente ETL, programa instalado perto da origem, executa os Dataflows quando o agendamento dispara: num horário, num intervalo ou numa mudança de dados na origem.

O Agente precisa enxergar a origem. Para um banco que só aceita conexão da rede interna, ele roda numa máquina dessa rede e só abre conexão de saída para o Lumo, em HTTPS. Para uma API ou um banco em nuvem, ele pode rodar na nuvem da HorusBI. Veja Rede e segurança.

Para planilha avulsa ou dado digitado à mão há caminhos mais curtos, comparados em Como o dado entra.

Por onde começar

Você quer	Comece por
Entender as peças antes de mexer	Como o HorusETL funciona
Pôr o primeiro Agente para rodar	Instalar o Agente ETL
Montar uma carga do começo ao fim	Seu primeiro Dataflow
Escolher a carga de uma tabela grande	Tipos de carga
Passar a lista de rede para a equipe de infraestrutura	Rede e segurança
Resolver uma carga que falhou	Problemas
Versionar Dataflows em YAML	Lumo CLI

O que tem nesta seção

• Comece: o tutorial que termina com uma tabela publicada e agendada.
• Conceitos: como uma execução acontece, a rede do Agente, os dois eixos da carga (Extração e Gravação) e o que acontece com registro apagado na origem.
• Como fazer: instalar e manter o Agente, cadastrar conexões, publicar, escolher a carga, agendar, disparar por mudança de dados e gastar menos processamento.
• Referência: cada nó, os modos de carga, as variáveis, os Configuradores, as mensagens e as versões do Agente.
• Solução de problemas: as mensagens mais comuns, com causa e conserto.