Automação de banco de dados com Puppet:implantando MySQL e MariaDB Galera Cluster

Galera Cluster com Marionete

• Cluster MySQL Galera (Codificação)
• Cluster Percona XtraDB (Percona)
• Cluster MariaDB (incorporado no MariaDB Server pelo MariaDB)

• puppetlabs/mysql - somente MariaDB Galera
• fraenki/galera - Percona XtraDB Cluster e MySQL Galera da Codership
• edestecd/mariadb - somente cluster MariaDB
• filiadata/percona - Percona XtraDB Cluster

• wsrep_on :um sinalizador para ativar a API de replicação de conjunto de gravação para Galera Cluster (somente MariaDB).
• wsrep_cluster_name :o nome do cluster. Deve ser idêntico em todos os nós que fazem parte do mesmo cluster.
• wsrep_cluster_address :A cadeia de conexão de comunicação Galera, prefixada com gcomm:// e seguida pela lista de nós, separada por vírgula. Lista de nós vazia significa inicialização do cluster.
• wsrep_provider :O caminho onde reside a biblioteca Galera. O caminho pode ser diferente dependendo do sistema operacional.
• bind_address :o MySQL deve ser acessível externamente, portanto, o valor '0.0.0.0' é obrigatório.
• wsrep_sst_method :para MariaDB, o método SST preferido é mariabackup.
• wsrep_sst_auth :usuário e senha do MySQL (separados por dois pontos) para realizar a transferência de instantâneo. Normalmente, especificamos um usuário que pode criar um backup completo.
• wsrep_node_address :Endereço IP para comunicação e replicação Galera. Use o fator Puppet para escolher o endereço IP correto.
• wsrep_node_name :nome do host do FQDN. Use o fator Puppet para escolher o nome de host correto.

Implantação do Galera Cluster (MariaDB)

# Puppet manifest for Galera Cluster MariaDB 10.3 on Ubuntu 18.04 (Puppet v6.4.2) 
# /etc/puppetlabs/code/environments/production/manifests/galera.pp

# global vars
$sst_user         = 'sstuser'
$sst_password     = 'S3cr333t$'
$backup_dir       = '/home/backup/mysql'
$mysql_cluster_address = 'gcomm://192.168.0.161,192.168.0.162,192.168.0.163'


# node definition
node "db1.local", "db2.local", "db3.local" {
  Apt::Source['mariadb'] ~>
  Class['apt::update'] ->
  Class['mysql::server'] ->
  Class['mysql::backup::xtrabackup']
}

# apt module must be installed first: 'puppet module install puppetlabs-apt'
include apt

# custom repository definition
apt::source { 'mariadb':
  location => 'http://sfo1.mirrors.digitalocean.com/mariadb/repo/10.3/ubuntu',
  release  => $::lsbdistcodename,
  repos    => 'main',
  key      => {
    id     => 'A6E773A1812E4B8FD94024AAC0F47944DE8F6914',
    server => 'hkp://keyserver.ubuntu.com:80',
  },
  include  => {
    src    => false,
    deb    => true,
  },
}

# Galera configuration
class {'mysql::server':
  package_name            => 'mariadb-server',
  root_password           => '[email protected]#',
  service_name            => 'mysql',
  create_root_my_cnf      => true,
  remove_default_accounts => true,
  manage_config_file      => true,
  override_options        => {
    'mysqld' => {
      'datadir'                 => '/var/lib/mysql',
      'bind_address'            => '0.0.0.0',
      'binlog-format'           => 'ROW',
      'default-storage-engine'  => 'InnoDB',
      'wsrep_provider'          => '/usr/lib/galera/libgalera_smm.so',
      'wsrep_provider_options'  => 'gcache.size=1G',
      'wsrep_cluster_name'      => 'galera_cluster',
      'wsrep_cluster_address'   => $mysql_cluster_address,
      'log-error'               => '/var/log/mysql/error.log',
      'wsrep_node_address'      => $facts['networking']['interfaces']['enp0s8']['ip'],
      'wsrep_node_name'         => $hostname,
      'innodb_buffer_pool_size' => '512M',
      'wsrep_sst_method'        => 'mariabackup',
      'wsrep_sst_auth'          => "${sst_user}:${sst_password}"
    },
    'mysqld_safe' => {
      'log-error'               => '/var/log/mysql/error.log'
    }
  }
}

# force creation of backup dir if not exist
exec { "mkdir -p ${backup_dir}" :
  path   => ['/bin','/usr/bin'],
  unless => "test -d ${backup_dir}"
}

# create SST and backup user
class { 'mysql::backup::xtrabackup' :
  xtrabackup_package_name => 'mariadb-backup',
  backupuser              => "${sst_user}",
  backuppassword          => "${sst_password}",
  backupmethod            => 'mariabackup',
  backupdir               => "${backup_dir}"
}

# /etc/hosts definition
host {
  'db1.local': ip => '192.168.0.161';
  'db2.local': ip => '192.169.0.162';
  'db3.local': ip => '192.168.0.163';
}

$ puppet agent -t

      'wsrep_on'                 => 'ON',

$ puppet agent -t

$ galera_new_cluster #db1

$ systemctl restart mariadb #db2 and db3

2019-06-10  4:11:10 2 [Note] WSREP: Synchronized with group, ready for connections

$ mysql -uroot -e 'show status like "wsrep%"'

Gerenciamento MySQL

• opções de configuração (modificar, aplicar, configuração personalizada)
• recursos de banco de dados (banco de dados, usuário, concessões)
• backup (criar, agendar, usuário de backup, armazenamento)
• restauração simples (somente mysqldump)
• instalação/ativação de plugins

Controle de Serviço

$ systemctl restart mariadb # Systemd
$ service mariadb restart # SysVinit

Recurso de banco de dados

  # make sure the database and user exist with proper grant
  mysql::db { 'mynewdb':
    user          => 'mynewuser',
    password      => 'passw0rd',
    host          => '192.168.0.%',
    grant         => ['SELECT', 'UPDATE']
  } 

Backup e restauração

$ crontab -l
# Puppet Name: xtrabackup-weekly
5 23 * * 0 /usr/local/sbin/xtrabackup.sh --target-dir=/home/backup/mysql --backup
# Puppet Name: xtrabackup-daily
5 23 * * 1-6 /usr/local/sbin/xtrabackup.sh --incremental-basedir=/home/backup/mysql --target-dir=/home/backup/mysql/`date +%F_%H-%M-%S` --backup

  # Prepare the backup script, /usr/local/sbin/mysqlbackup.sh
  class { 'mysql::server::backup':
    backupuser     => 'backup',
    backuppassword => 'passw0rd',
    backupdir      => '/home/backup',
    backupdirowner => 'mysql',
    backupdirgroup => 'mysql',
    backupdirmode  => '755',
    backuprotate   => 15,
    time           => ['23','30'],   #backup starts at 11:30PM everyday
    include_routines  => true,
    include_triggers  => true,
    ignore_events     => false,
    maxallowedpacket  => '64M'
  }

$ mysqlbackup.sh

mysql::db { 'mydb':
  user     => 'myuser',
  password => 'mypass',
  host     => 'localhost',
  grant    => ['ALL PRIVILEGES'],
  sql      => '/home/backup/mysql/mydb/backup.gz',
  import_cat_cmd => 'zcat',
  import_timeout => 900
}

Gerenciamento de configuração

# Loads /etc/puppetlabs/code/environments/production/modules/mysql/templates/my-custom-config.cnf.erb into /etc/mysql/conf.d/my-custom-config.cnf

file { '/etc/mysql/conf.d/my-custom-config.cnf':
  ensure  => file,
  content => template('mysql/my-custom-config.cnf.erb')
}

Puppet vs ClusterControl

• Um pouco de curva de aprendizado para entender as sintaxes, formatação e estruturas do Puppet antes de escrever manifestos.
• O manifesto deve ser testado regularmente. É muito comum você receber um erro de compilação no código, especialmente se o catálogo for aplicado pela primeira vez.
• Puppet presume que os códigos sejam idempotentes. A condição de teste/verificação/verificação é de responsabilidade do autor para evitar atrapalhar um sistema em execução.
• O Puppet requer um agente no nó gerenciado.
• Incompatibilidade com versões anteriores. Alguns módulos antigos não funcionariam corretamente na nova versão.
• O monitoramento de banco de dados/host deve ser configurado separadamente.

$ s9s cluster --create \
  --cluster-type=galera \
  --nodes='192.168.0.21;192.168.0.22;192.168.0.23' \
  --vendor=percona \
  --cluster-name='Percona XtraDB Cluster 5.7' \
  --provider-version=5.7 \
  --db-admin='root' \
  --db-admin-passwd='$ecR3t^word' \
  --log