Rede e segurança do Agente ETL

Tipo

Conceito

Para

Engenharia de dados, Administrador do Tenant

Toda comunicação do Agente ETL com o Lumo sai da máquina do Agente, em HTTPS na porta 443. O Lumo nunca abre conexão para dentro da sua rede, então instalar um Agente não pede porta de entrada no firewall.

Endereços

Libere a saída para estes três endereços:

Endereço	Para que serve
wss://backend.horusbi.com.br/	conexão permanente com o Lumo: ordens de execução, status, logs
https://parquet.horusbi.com.br/	envio do resultado de cada carga, em Parquet, para gravação no HorusDW
https://storage.horusbi.com.br/	download de versões do Agente e do instalador, e leitura e escrita no Datalake por link assinado

A primeira é uma conexão WebSocket que o Agente abre ao iniciar e mantém aberta. É por ela que uma execução pedida na tela chega ao Agente em segundos, e que o log aparece na tela enquanto a carga roda.

O Agente também precisa alcançar as origens que vai ler: o banco na rede interna, a API, o servidor de arquivos. Essas conexões partem dele e seguem as regras da sua rede.

O token

Cada Agente ETL tem um token, gerado quando o Agente é criado no Lumo. O token diz ao Lumo qual Agente está conectando e a qual Tenant ele pertence. O Lumo aceita só token ativo, de Agente não excluído, num Tenant ativo: desativar ou excluir o Agente corta o acesso na conexão seguinte.

O token fica visível na tela do Agente para quem pode editá-lo, e pode ser copiado de novo a qualquer hora. Ele vale como senha: quem tem o token conecta um Agente no seu Tenant. Um token em duas máquinas ao mesmo tempo faz as duas disputarem as execuções, e a tela do Agente avisa com "Múltiplas Réplicas Detectadas!".

Onde o dado é processado

O Agente lê a origem e roda as transformações na memória e no disco da máquina onde está instalado. O que sai dela depende do destino do Dataflow:

Destino	O que sai da sua rede
HorusDW	o resultado da carga, guardado no HorusDW, em datacenter no Brasil
Datalake	o resultado da carga, guardado em arquivo no armazenamento da HorusBI
Arquivo Parquet Local	só status, mensagens e contagens de linhas
Google Sheet	o resultado, enviado à planilha escolhida

As credenciais das conexões de banco ficam guardadas cifradas no Lumo.

Segredos fora do Dataflow

O que se escreve num nó fica salvo no Dataflow e vai junto em toda cópia dele. Para senha, chave de API e client_secret, há dois lugares melhores:

• uma variável global marcada como Protegida, cujo valor não aparece mais na tela depois de salvo;
• uma variável de ambiente da máquina do Agente, lida no Dataflow com o prefixo ENV_.

As duas estão em Variáveis. Nas consultas da sonda CDC e da sincronização de exclusões, use uma conexão com usuário só de leitura: o Lumo confere o texto da consulta, mas só o banco garante que ela não escreve.

Onde isso aparece

• Na tela do Agente, em Configurar Agentes ETL: o token, a situação Online ou Offline e o aviso de réplicas.
• Para instalar, ver Instalar o Agente ETL.
• Para o Agente que não fica online, ver Problemas.