Onde o dado fica

Tipo

Conceito

Para

Engenharia de dados

O HorusDW guarda dado em dois lugares: o DW, um banco analítico Apache Doris que responde às consultas do DataViz, e o Datalake, um armazenamento de arquivos Parquet gerenciado pela HorusBI. O tipo da tabela decide qual dos dois ela usa, e com isso decide também se ela pode chegar a um Dashboard.

Tipo	Onde o dado fica	Chega ao DataViz
Tabela	DW	Sim
Tabela Estática	DW	Sim
Cadastro	Base de Cadastros, copiado em seguida para o DW	Sim
Datalake	Datalake (Parquet por partição e por Agente ETL)	Não

O caminho de uma carga

Quando um Dataflow grava numa Tabela, o Agente ETL gera um arquivo Parquet com as linhas e envia direto para o serviço de carga da HorusBI, que insere no DW. Não há parada intermediária no Datalake.

Quando o destino é uma tabela Datalake, o Agente ETL grava os arquivos Parquet no Datalake, organizados por partição e por Agente ETL, e nada vai para o DW. Quem escolhe o caminho é o tipo da tabela de destino: o mesmo nó de saída do Dataflow grava no DW ou no Datalake conforme a tabela que ele aponta. Os detalhes do nó estão em HorusETL.

O Cadastro tem um caminho próprio. Cada registro salvo vai primeiro para a Base de Cadastros, um banco dedicado com histórico e lixeira, e é copiado para o DW em seguida. Por isso o Dashboard pode levar alguns segundos para mostrar uma edição. Veja Cadastros no BI.

Por que existem os dois

O DW é feito para consulta analítica. Tudo que um Dashboard, um alerta ou o Chat com Dados lê vem dele, e as restrições de linha e de coluna de cada usuário entram na consulta que o Lumo manda ao DW.

O Datalake serve para o dado que ainda vai ser tratado: um Dataflow grava o bruto no Datalake, outro lê com o nó de entrada Extrair Datalake, transforma e grava o resultado numa Tabela. Como o Datalake fica fora do DW, uma tabela Datalake não entra em Aplicação nem pode ser liberada a um usuário. Se o dado precisa chegar a um Dashboard, ele precisa terminar numa Tabela.

Onde isso aparece

Na tela de edição de uma tabela Datalake, o botão Ver Arquivos Datalake lista as partições, o Agente ETL que gravou cada uma e o total de linhas, com Baixar para o arquivo .parquet. Ver esses arquivos exige acesso à Mesa de Dados da tabela.

CAUTION

Em tabela Datalake, Limpar Tabela apaga os arquivos Parquet do Datalake, e não há como recuperá-los pela Lixeira. Veja Limpar, excluir e restaurar uma tabela.

Os tipos de tabela estão em Tipos de tabela.