O Serviço de banco de dados dos clientes Brasil (SmartERP, Smart eSocial e Sistemico Brasil) é de responsabilidade do time CLOUD DBA, ou seja, quaisquer manutenções na infra-estrutura dos bancos de produção, deve-se abrir um ticket para o time atuar.

Para os clientes do SmartERP que possuem ambientes de homologação (development), optamos em utilizar banco em conteiner na versão 12.6, ficando a cargo de todas as manutenções de infra-estrutura do time de SRE Protheus.

Caso haja a necessidade de realizar qualquer processo em dados ou tabelas do banco, deve-se primeiramente alinhar com o time de DBA da Engenharia Protheus.

Temos a possibilidade de acessar o database diretamente via psql, acessando os IPs disponibilizados no ambiente (helm file). Recomendo fazer este processo somente em último caso e que utilize o PSQL de dentro do pod do dbaccess.

Backup dos dados

Processo de backup dos ambiente ocorrerem todos os dias, a partir das 21 horas.

Para clientes do SmartERP, mantemos os dados salvos dentro do volume do cluster e copiamos as 06 horas da manhã para o serviço do rubrick (Job montado no namespace smartbackup). Para Ambientes do Sistêmico e Mercado Internacional, disponibilizamos um bucket na GCP para gravar os backups assim que concluídos. Este processo ocorre devido não existir integração entre o RUBRICK e os clusters do TESP02 e AWS. Para ambientes do Smart eSocial, todo a gestão de backup é efetuada pelo time Cloud DBA Oracle. Além destes dois buckets, mantemos também disponivel o bucket da AWS para tirarmos os backups, porém sem utilização no momento.

O backup dos ambientes POSTGRES é realizado com compactação (Z6), sem a vinculação de owner e no encode que o banco foi criado. Após conclusão do backup por parte do PSQL, fazemos uma nova compactação antes de enviar para o bucket configurado no helmfile do ambiente.

 # backup custom com compressão media + gzip ao final do backup
 pg_dump postgres://$user:$pass@$DATABASE_ENDPOINT:$DATABASE_PORT/$user -Fc -Z6 --no-owner --no-acl --verbose --encoding $DATABASE_CODEPAGE | gzip > /backup/$BUCKET_NAME/$NAMESPACE/$remote_last

Restore de dados

O processo de restore de dados dos ambientes do SmartERP e Sistêmico é realizado de forma automática, ou seja, quando o sistema verificar que não existe o banco de dados, ele irá fazer a criação dos usuários, do database, instalar as extensões e restaurar o último backup existente no bucket (database_latest.dump.gz).

Via de regra, o ambiente sempre irá pegar o ultimo backup de produção e restaurar no ambiente que não foi encontrado o banco, não importando se for o ambiente de homologação, os jobs irão pegar o DUMP de produção e restaurar em homologação.

Para forçar o restore dentro do ambiente, temos duas opções:

#!/bin/bash
set +ef
set +x

ccode=$1
type=$2

if [ "$ccode" = "" ]; then
    echo "Required env variable ccode"
    exit 0
fi

if [ "$type" = "" ]; then
    type="producao"
fi

kubectl -n $ccode scale deploy -l base=true --replicas=1

dbaccess=$(kubectl -n $ccode get pod --no-headers | grep -i dbaccess | awk '{print $1}')
echo "kubectl -n $ccode exec -it $dbaccess -- bash"

endpoint=$(kubectl -n $ccode get configmap protheus-config -o json | jq -r .data.DATABASE_ENDPOINT)
password=$(kubectl -n $ccode get secrets protheus-secrets-db-master -o json | jq -r .data.DATABASE_PASSWORD | base64 -d)
user=$(kubectl -n $ccode get secrets protheus-secrets-db-master -o json | jq -r .data.DATABASE_USER | base64 -d)

echo "PGPASSWORD=$password psql -U $user -h $endpoint -d postgres -c "'"DROP DATABASE '$type';"'
echo "PGPASSWORD=$password psql -U $user -h $endpoint -d postgres -c "'"CREATE DATABASE '$type' WITH LC_COLLATE='"'C'"' LC_CTYPE='"'C'"' ENCODING='"'WIN1252'"' TEMPLATE=template0;"'
echo "PGPASSWORD=$password psql -U $user -h $endpoint -d $type -c 'CREATE EXTENSION IF NOT EXISTS \"uuid-ossp\";'"
echo "PGPASSWORD=$""DATABASE_PASSWORD_$type pg_restore -U $""DATABASE_USER_$type -h $""DATABASE_ENDPOINT -d $type --no-tablespaces --no-owner --no-acl --verbose < /tmp/"
echo "PGPASSWORD=$""DATABASE_PASSWORD_$type psql -U $""DATABASE_USER_$type -h $""DATABASE_ENDPOINT -d $type -c "CREATE TABLE DUMP_OK ();"

Política de Acesso aos dados

Com base na Lei Geral de Proteção de Dados Pessoais (Lei 13.709/2018) e Marco Civil da Internet (Lei 12.965/2014), a Política de Privacidade do Grupo TOTVS procura demonstrar o compromisso da companhia com a transparência com que trata os Dados Pessoais dos Titulares, assim como expressar seu comprometimento com a segurança nos serviços fornecidos.

A Assistente LGPD tem como objetivo auxiliar os titulares dos dados, a fim de proteger, preservar e respeitar a privacidade. Clique aqui para acessar o conteúdo completo da Política de Privacidade TOTVS.

Atualmente as aplicações Smart estão divididas em 2 ambientes (DEV e PRODUÇÃO). Cada um desses ambiente possui um Banco de Dados que contém dados de uso do cliente.

O acesso a esses dados é limitado, realizado através de ferramental homologado e disponibilizado pela TOTVS S.A. (garantir a integridade das informações). Somente os clientes e o time de SRE possuem acesso aos dados do clientes. Por exceção, com aval da diretoria e documentado, outras pessoas poderão acessar, desde que exista uma autorização do cliente para que os dados sejam acessíveis e todos os tratamentos referente a LGPD sejam executados.

Buckets