Introdução ao HorusETL

O HorusETL é a ferramenta de integração de dados low-code da suíte HorusBI. Ele permite criar fluxos de extração, transformação e carga (ETL) de dados visualmente, com execução na nuvem ou em infraestrutura local (On-Premise) através de Agentes.

---

🧩 Como Funciona?

No HorusETL, os pipelines de dados são chamados de Dataflows. Cada etapa do pipeline é um Nó (Processador) que realiza uma tarefa específica, como:

• Conectar a bancos de dados
• Ler e processar arquivos
• Realizar requisições HTTP
• Transformar dados

O processamento é realizado pelo Agente, um serviço que pode rodar no servidor do cliente para garantir performance e segurança dos dados locais.

---

📖 Conceitos Principais

Dataflow (Fluxo)

Pipeline de dados desenhado visualmente. Define a sequência de execução e transformação dos dados.

Nó / Processador

Bloco de construção do fluxo. Cada nó executa uma ação única (Input, Processamento, Output).

Conexão

Liga dois nós, definindo o caminho dos dados. O output de um nó serve como input para o próximo.

Agente (Engine)

Motor de execução (Serviço Windows ou Docker/Linux).

• Função — Recebe o fluxo do Backend e o executa
• Local — Pode rodar na nuvem ou On-Premise (na rede do cliente)

Token

Chave de autenticação que vincula um Agente (instalação) ao Tenant (conta).

---

🏗️ Arquitetura

O sistema é composto por três módulos que se comunicam:

🎨 Frontend (Design)

• Interface Web — Onde o usuário desenha o fluxo e configura parâmetros
• Responsabilidade — Configuração e monitoramento

🧠 Backend (Orquestração)

• API/Cloud — Gerencia permissões, armazenamento e agendamentos
• Responsabilidade — Gestão e controle

⚙️ Engine (Execução)

• Serviço — O executor dos processos
• Responsabilidade — Processamento de dados e conexões