Buscar K
Aparência
Índice dos nós
- Tipo
- Referência
- Para
- Engenharia de dados, Desenvolvedor
- Na tela
- HorusETL › Dataflows › editor do Dataflow
Um Dataflow é uma sequência de nós ligados: os de entrada leem de uma origem, os de transformação mudam as linhas, e um nó de destino grava o resultado. Os nós abaixo seguem a ordem da biblioteca de nós do editor, cada um com a sua página de referência.
A biblioteca abre pelo botão de adicionar nó do editor e tem a busca Pesquisar processadores.... No YAML do Lumo CLI, o tipo do nó é o campo kind.
Entradas
| Na biblioteca | Grupo | kind no YAML | Lê | Referência |
|---|---|---|---|---|
| uma entrada por conexão cadastrada | Bancos de Dados | ExtractPostgreSQL, ExtractMySQL, ExtractSQLServer, ExtractOracleDB, ExtractFirebird, ExtractInformix, ExtractInterSystemsIRIS, ExtractODBC, ExtractBigQuery | um SELECT num banco | Bancos de dados |
| Excel | Arquivos | ExtractExcel | planilha num caminho do computador do Agente ETL | Arquivos |
| Excel (Estático) | Arquivos | ExtractStaticExcel | planilha enviada pelo editor | Arquivos |
| CSV (Estático) | Arquivos | ExtractStaticCSV | CSV enviado pelo editor | Arquivos |
| Arquivo Parquet | Arquivos | ExtractParquet | Parquet num caminho ou URL | Arquivos |
| Requisição HTTP | Web & APIs | HTTPRequest | uma API | Requisição HTTP |
| Requisição HTTP - Parametrizada | Web & APIs | HTTPRequest | uma API, uma chamada por linha da entrada | Requisição HTTP |
| Extrair Datalake | Cloud | ExtractDatalake | uma tabela Datalake | Datalake e Lakehouse |
| Consultar Lakehouse | Cloud | ExtractLakehouse | uma tabela do HorusDW | Datalake e Lakehouse |
| Google Sheet | Cloud | ExtractGoogleSheet | uma aba de planilha do Google | Google Sheets |
Destinos
| Na biblioteca | kind no YAML | Grava em | Referência |
|---|---|---|---|
| DataWarehouse | InsertDatawarehouse | uma tabela do HorusDW | Inserir no DW |
| Inspeção e Download | Download | um Parquet no armazenamento do Lumo | Outras saídas |
| Arquivo Parquet Local | DumpParquet | um Parquet no computador do Agente ETL | Outras saídas |
| Inserir Google Sheet | InsertGoogleSheet | uma aba de planilha do Google | Google Sheets |
Transformações e IA
| Na biblioteca | Grupo | kind no YAML | Faz | Referência |
|---|---|---|---|---|
| Join | Transformações | Join | traz colunas de uma entrada para a outra por chave | Transformações |
| Concatenar | Transformações | Union | empilha as linhas de duas entradas | Transformações |
| Python (Pandas) | Transformações | PythonProcessor | roda um script pandas | Python |
| SQL (DuckDB) | Transformações | SQLProcessor | roda uma consulta SQL sobre as entradas | SQL (DuckDB) |
| Map C# | Transformações | Map | roda um trecho de C# | Transformações |
| Classificar com IA | Inteligência Artificial | AIExtract | preenche colunas novas com um modelo de IA | Classificar com IA |
Configuradores
Os nós do grupo Configurador não produzem linhas: calculam variáveis que os nós seguintes usam. São Python (PythonConfigurator), JavaScript (JSConfigurator) e HTTP (HTTPConfigurator), descritos em Configuradores.
Kinds fora da biblioteca
O Agente ETL ainda executa alguns tipos de nó que o editor não oferece. Eles aparecem em Dataflows antigos ou têm uso interno. Não crie nós novos com eles.
kind | Situação |
|---|---|
Filter | Filtro por expressão, de Dataflows antigos. Para filtrar, use o SQL (DuckDB) |
ExtractMongoDB | Leitura de MongoDB, sem entrada na biblioteca nem formulário de conexão |
ExtractHIPA, ExtractDatawarehouse | Leituras antigas, sem formulário de conexão. Só aparecem no grupo Bancos de Dados se o Tenant ainda tiver uma conexão desse tipo |
KeySweepDatawarehouse | Uso interno do Agente ETL na varredura de exclusões |
O que vale para todo nó
- Executar roda o nó no editor, com o Agente ETL do Dataflow, e mostra as colunas que ele entrega. Depois da primeira vez, o botão vira Executar novamente. O nó precisa que os nós anteriores tenham sido executados; se não, aparece "É necessário atualizar os metadados dos processadores anteriores!".
- A seção Metadados lista as colunas de saída com o tipo de cada uma. A caixa de marcar de cada coluna decide quais seguem: "Só as colunas marcadas seguem para o próximo nó." A edição da coluna abre Editar Coluna, onde Nome da Coluna e Alterar renomeiam a coluna. No YAML, a seleção e os nomes ficam em
SelectedColumns, em qualquer nó. - Visualizar Dados mostra as linhas que o nó entregou, e Baixar Dados gera um CSV compactado ou um Parquet com elas.
- Os nós entregam os nomes das colunas em maiúsculas. A exceção são as colunas definidas à mão na Requisição HTTP.
- Os tipos são três: texto, número e data. Número sempre é decimal (não há inteiro separado), e data carrega a hora.
- Campos de texto aceitam variáveis, como
{StartDate:yyyy-MM-dd}, trocadas pelo valor antes de o nó rodar. Variável que não existe fica no texto como foi escrita. O código dos nós Python (Pandas), Map C# e dos configuradores Python e JavaScript não passa por essa troca: esses nós recebem as variáveis dentro do próprio código, como explica a página de cada um. A lista está em Variáveis.