Informações Gerais

Objetivo

No TOTVS Smart Analytics algumas dimensões e fatos são compartilhadas por mais de um app e, desta forma, quando é executado o processo de ETL para um projeto no qual tenha sido instalado mais de um app, os graph das entidades compartilhadas são executados mais de uma vez. O objetivo deste requisito é alterar o mecanismo de execução dos graphs do TOTVS Smart Analytics para que entidades compartilhadas entre apps sejam executadas uma única vez, independentemente do número de apps instalados no projeto. 

Definição da Regra de Negócio

Para alteração no mecanismo de execução dos graphs do TOTVS Smart Analytics será necessário alterar o Agent e o processo de ETL. 

Agent 

O Agent deverá gerar um arquivo denominado APP.csv que será compactado junto com os demais arquivos de dados no aquivo TOTVSSMARTANALYTICS.[zip|tar.gz]. O conteúdo inseridos no arquivo APP.csv será a lista de apps instalados no projeto para qual o Agent for executado e devem ser recuperador por meio a GoodData REST API. Caso seja necessário executar apps especificos que tenham sido instalados no projeto, pode ser utilizado o parâmetro gdc.etl.app, da seguinte forma:

gdc.etl.app.comercial= TRUE

gdc.etl.app.financeiro= TRUE

ETL

O arquivo dimension_parameters.txt será alterado para que seja incluído o nome do graph relacionado com cada dimensão, da seguinte forma:

areas|AREA|COMERCIAL|LOAD_DIMENSION_TABLE_AREA

O arquivo purge_parameters.txt será renomeado para fact_parameteres.txt. No arquivo fact_parameteres.txt será incluído o nome do graph relacionado com cada fato, da seguinte forma:

fato_hl4|data|years|2|HL4|VENDAS|COMERCIAL|LOAD_FACT_TABLE_HL4

O graph MAIN_JOB será alterado para que funcione de forma dinâmica e direcionada pelo conteúdo dos arquivos dimension_parameters.txt e fact_parameteres.txt, da seguinte forma:

1. O arquivo APP.csv será lido e os apps que devem ser processados recuperados. 
2. Os arquivos dimension_parameters.txt e fact_parameteres.txt serão lidos e serão filtradas apenas as entidades relacionadas com os apps contidos no arquivo APP.csv. 
3. Os graphs duplicados serão removidos da lista de entidades. 
4. Os graphs das dimensões serão executados. 
5. Os graphs das fatos serão executadas.