Automatizando tarefas diárias do PostgreSQL usando Jenkins

Sobre Jenkins

O que Jenkins faz?

• Agendar trabalhos de período (em vez de usar o tradicional crontab )
• Monitorando jobs, seus logs e atividades por uma visão limpa (já que eles têm uma opção de agrupamento)
• A manutenção dos trabalhos pode ser feita facilmente; supondo que Jenkins tenha um conjunto de opções para isso
• Configurar e programar a instalação do software (usando o Puppet) no mesmo host ou em outro.
• Publicando relatórios e enviando notificações por e-mail

Executando tarefas do PostgreSQL no Jenkins

1. Agendamento e execução de scripts PostgreSQL
2. Executando um processo PostgreSQL composto por três ou mais scripts
3. Integração Contínua (CI) para desenvolvimentos PL/pgSQL

Agendamento e execução de um script PostgreSQL

• Geração de backups
• Testar a restauração de um backup
• Execução de uma consulta para fins de relatório
• Limpar e arquivar arquivos de registro
• Chamar um procedimento PL/pgSQL para limpar tabelas

0 5,17 * * * /filesystem/scripts/archive_logs.sh
0 2 * * * /db/scripts/db_backup.sh
0 6 * * * /db/data/scripts/backup_client_tables.sh
0 4 * * * /db/scripts/Test_db_restore.sh
*/10 * * * * /db/scripts/monitor.sh
0 4 * * * /db/data/scripts/queries.sh
0 4 * * * /db/scripts/data_extraction.sh
0 5 * * * /db/scripts/data_import.sh
0 */4 * * * /db/data/scripts/report.sh

• Interface muito amigável para monitorar seu progresso e status atual
• Os logs estão disponíveis imediatamente e não há necessidade de nenhuma concessão especial para acessá-los
• O trabalho pode ser executado manualmente no Jenkins em vez de ter um agendamento
• Para alguns tipos de trabalhos, não é necessário definir usuários e senhas em arquivos de texto simples, pois o Jenkins faz isso de maneira segura
• Os jobs podem ser definidos como uma execução de API

[email protected]:~/db/scripts$ ls -l query.sh
-rwxr-xr-x 1 slonik slonik 365 May 11 20:01 query.sh
[email protected]:~/db/scripts$ 

#!/bin/bash

/usr/lib/postgresql/10/bin/psql -U report -d db_deploy -c "select * from appl" > /home/slonik/db/scripts/appl.dat
 
/usr/lib/postgresql/10/bin/psql -U report -d db_deploy -c "select * from appl_users" > /home/slonik/db/scripts/appl_user.dat
 
/usr/lib/postgresql/10/bin/psql -U report -d db_deploy -c "select * from appl_rights" > /home/slonik/db/scripts/appl_rights.dat

Executando um processo PostgreSQL composto por três ou mais scripts

• Importar dados de arquivos
• Prepare os dados a serem mascarados
• Backup de banco de dados com dados mascarados

def dir_live1='/data/ftp/server1'
def dir_live2='/data/ftp/server2'

pipeline{
    agent any
    stages
    {
      stage('Import data from files'){
          steps{
              echo "Import data from ${dir_live1} ..."
              sh script :"/home/slonik/db/scripts/import_data_from_files.sh ${dir_live1}"
              echo "Import data from $dir_live2 ..."
              sh script :"/home/slonik/db/scripts/import_data_from_files.sh ${dir_live2}"
          }
      }
      stage('Prepare data to be masked'){
          steps{
              echo "Purge data ..."
              sh script :"/home/slonik/db/scripts/purge_data.sh"
              echo "Mask data ..."
              sh script :"/home/slonik/db/scripts/mask_data.sh"
          }
      }
     stage('Backup of database with data masked'){
          steps{
              echo "Backup database after masking ..."
              sh script :"/home/slonik/db/scripts/backup_db.sh"
          }
      } 
        
    }
}

Estágio

Passo

sh script :"/home/slonik/db/scripts/import_data_from_files.sh '/data/ftp/server1'

sh script :"/home/slonik/db/scripts/import_data_from_files.sh '/data/ftp/server2'

dir_live1
dir_live2

Integração Contínua (CI) para Desenvolvimentos PL/pgSQL

CREATE OR REPLACE FUNCTION f_IsValidEmail(email text) RETURNS bool
LANGUAGE plperlu
AS $$
use Email::Address;
my @addresses = Email::Address->parse($_[0]);
return scalar(@addresses) > 0 ? 1 : 0;
$$;

#!/usr/bin/python
import psycopg2

con = psycopg2.connect(database="db_deploy", user="postgres", password="postgres10", host="localhost", port="5432")
cur = con.cursor() 

email_list = { '[email protected]' : True,
                       'tintinmail.com'   :  False,
                       '[email protected]'   : False,
                       'director#mail.com': False,
                       '[email protected]'   : True
                     }
result_msg= "f_IsValidEmail -> OK"

for key in email_list:
  cur.callproc('f_IsValidEmail', (key,))
  row = cur.fetchone()
  if email_list[key]!=row[0]:
    result_msg= "f_IsValidEmail -> Nok"

print result_msg

cur.close()
con.close()

Conclusão

• Programação de tarefas
• Execução de scripts
• Processos de monitoramento