Executando um cluster MariaDB Galera sem ferramentas de orquestração de contêiner:parte um

• host1.local - 192.168.55.161
• host2.local - 192.168.55.162
• host3.local - 192.168.55.163

Rede de vários hosts

1. 
   Baixe e instale o Weave:
   

   $ curl -L git.io/weave -o /usr/local/bin/weave
   $ chmod a+x /usr/local/bin/weave

2. 
   Crie um arquivo de unidade systemd para o Weave:
   

   $ cat > /etc/systemd/system/weave.service << EOF
   [Unit]
   Description=Weave Network
   Documentation=http://docs.weave.works/weave/latest_release/
   Requires=docker.service
   After=docker.service
   [Service]
   EnvironmentFile=-/etc/sysconfig/weave
   ExecStartPre=/usr/local/bin/weave launch --no-restart $PEERS
   ExecStart=/usr/bin/docker attach weave
   ExecStop=/usr/local/bin/weave stop
   [Install]
   WantedBy=multi-user.target
   EOF

3. 
   Defina endereços IP ou nome de host dos peers dentro de /etc/sysconfig/weave:
   

   $ echo 'PEERS="192.168.55.161 192.168.55.162 192.168.55.163"' > /etc/sysconfig/weave

4. 
   Inicie e ative o Weave na inicialização:
   

   $ systemctl start weave
   $ systemctl enable weave

$ weave status

          ...
          Peers: 3 (with 6 established connections)
          ...

Executando um cluster Galera

• O contêiner deve ser criado em --net=weave para ter conectividade com vários hosts.
• As portas de contêiner que precisam ser publicadas são 3306, 4444, 4567, 4568.
• A imagem do Docker deve ser compatível com Galera. Se você quiser usar o Oracle MySQL, obtenha a versão Codership. Se você gostaria de Percona, use esta imagem em vez disso. Nesta postagem do blog, estamos usando o MariaDB.

• O Galera está incorporado ao MariaDB, a partir do MariaDB 10.1.
• A imagem do MariaDB é mantida pelas equipes do Docker e do MariaDB.
• Uma das imagens do Docker mais populares do mercado.

1. Precisamos começar com 4 contêineres nesta ordem - mariadb0 (bootstrap), mariadb2, mariadb3, mariadb1.
2. O contêiner mariadb0 usará o mesmo datadir e configdir com mariadb1.
3. Use mariadb0 no host1 para o primeiro bootstrap, depois inicie mariadb2 no host2, mariadb3 no host3.
4. Remova mariadb0 de host1 para dar lugar a mariadb1.
5. Por último, inicie mariadb1 no host1.

$ mkdir -p /containers/mariadb1/conf.d
$ cat /containers/mariadb1/conf.d/my.cnf
[mysqld]

default_storage_engine          = InnoDB
binlog_format                   = ROW

innodb_flush_log_at_trx_commit  = 0
innodb_flush_method             = O_DIRECT
innodb_file_per_table           = 1
innodb_autoinc_lock_mode        = 2
innodb_lock_schedule_algorithm  = FCFS # MariaDB >10.1.19 and >10.2.3 only

wsrep_on                        = ON
wsrep_provider                  = /usr/lib/galera/libgalera_smm.so
wsrep_sst_method                = xtrabackup-v2

$ docker run -d \
        --name mariadb0 \
        --hostname mariadb0.weave.local \
        --net weave \
        --publish "3306" \
        --publish "4444" \
        --publish "4567" \
        --publish "4568" \
        $(weave dns-args) \
        --env MYSQL_ROOT_PASSWORD="PM7%[email protected]^1" \
        --env MYSQL_USER=proxysql \
        --env MYSQL_PASSWORD=proxysqlpassword \
        --volume /containers/mariadb1/datadir:/var/lib/mysql \
        --volume /containers/mariadb1/conf.d:/etc/mysql/mariadb.conf.d \
        mariadb:10.2.15 \
        --wsrep_cluster_address=gcomm:// \
        --wsrep_sst_auth="root:PM7%[email protected]^1" \
        --wsrep_node_address=mariadb0.weave.local

• --nome , cria o contêiner chamado "mariadb0",
• --nome do host , atribui ao contêiner um nome de host "mariadb0.weave.local",
• --net , coloca o contêiner na rede weave para suporte à rede de vários hosts,
• --publicar , expõe as portas 3306, 4444, 4567, 4568 no contêiner para o host,
• $(weave dns-args) , configura o resolvedor de DNS para este contêiner. Este comando pode ser traduzido para o Docker executado como "--dns=172.17.0.1 --dns-search=weave.local.",
• --env MYSQL_ROOT_PASSWORD , a senha raiz do MySQL,
• --env MYSQL_USER , cria um usuário "proxysql" para ser usado posteriormente com ProxySQL para roteamento de banco de dados,
• --env MYSQL_PASSWORD , a senha do usuário "proxysql",
• --volume /containers/mariadb1/datadir:/var/lib/mysql , cria /containers/mariadb1/datadir se não existir e mapeia-o com /var/lib/mysql (MySQL datadir) do contêiner (para nó de bootstrap, isso pode ser ignorado),
• --volume /containers/mariadb1/conf.d:/etc/mysql/mariadb.conf.d , monta os arquivos no diretório /containers/mariadb1/conf.d do host Docker, no contêiner em /etc/mysql/mariadb.conf.d.
• mariadb:10.2.15 , usa a imagem MariaDB 10.2.15 daqui,
• --wsrep_cluster_address , cadeia de conexão Galera para o cluster. "gcomm://" significa bootstrap. Para o restante dos contêineres, usaremos um endereço completo.
• --wsrep_sst_auth , string de autenticação para usuário SST. Use o mesmo usuário como root,
• --wsrep_node_address , o nome do host do nó, neste caso vamos usar o FQDN fornecido pelo Weave.

• O nome, hostname e wsrep_node_address é mariadb0, mas usa os volumes de mariadb1.
• O endereço do cluster é "gcomm://"
• Existem dois parâmetros --env adicionais - MYSQL_USER e MYSQL_PASSWORD. Esses parâmetros criarão um usuário adicional para nosso propósito de monitoramento proxysql.

$ docker ps
$ docker logs -f mariadb0

2018-05-30 23:19:30 139816524539648 [Note] WSREP: Synchronized with group, ready for connections

$ mkdir -p /containers/mariadb2/conf.d # on host2
$ mkdir -p /containers/mariadb3/conf.d # on host3

$ scp /containers/mariadb1/conf.d/my.cnf /containers/mariadb2/conf.d/ # on host1
$ scp /containers/mariadb1/conf.d/my.cnf /containers/mariadb3/conf.d/ # on host1

$ docker run -d \
        --name ${NAME} \
        --hostname ${NAME}.weave.local \
        --net weave \
        --publish "3306:3306" \
        --publish "4444" \
        --publish "4567" \
        --publish "4568" \
        $(weave dns-args) \
        --env MYSQL_ROOT_PASSWORD="PM7%[email protected]^1" \
        --volume /containers/${NAME}/datadir:/var/lib/mysql \
        --volume /containers/${NAME}/conf.d:/etc/mysql/mariadb.conf.d \
        mariadb:10.2.15 \
        --wsrep_cluster_address=gcomm://mariadb0.weave.local,mariadb1.weave.local,mariadb2.weave.local,mariadb3.weave.local \
        --wsrep_sst_auth="root:PM7%[email protected]^1" \
        --wsrep_node_address=${NAME}.weave.local

018-05-30 23:27:13 140003794790144 [Warning] Access denied for user 'root'@'localhost' (using password: NO)
MySQL init process in progress…
MySQL init process failed.

$ docker start mariadb2 # on host2
$ docker start mariadb3 # on host3

$ docker logs -f mariadb2
…
2018-05-30 23:28:39 139808069601024 [Note] WSREP: Synchronized with group, ready for connections

$ docker kill -s 15 mariadb0

$ docker run -d \
        --name mariadb1 \
        --hostname mariadb1.weave.local \
        --net weave \
        --publish "3306:3306" \
        --publish "4444" \
        --publish "4567" \
        --publish "4568" \
        $(weave dns-args) \
        --env MYSQL_ROOT_PASSWORD="PM7%[email protected]^1" \
        --volume /containers/mariadb1/datadir:/var/lib/mysql \
        --volume /containers/mariadb1/conf.d:/etc/mysql/mariadb.conf.d \
        mariadb:10.2.15 \
        --wsrep_cluster_address=gcomm://mariadb0.weave.local,mariadb1.weave.local,mariadb2.weave.local,mariadb3.weave.local \
        --wsrep_sst_auth="root:PM7%[email protected]^1" \
        --wsrep_node_address=mariadb1.weave.local

$ docker exec -it mariadb3 mysql -uroot "-pPM7%[email protected]^1" -e 'select variable_name, variable_value from information_schema.global_status where variable_name in ("wsrep_cluster_size", "wsrep_local_state_comment", "wsrep_cluster_status", "wsrep_incoming_addresses")'
+---------------------------+-------------------------------------------------------------------------------+
| variable_name             | variable_value                                                                |
+---------------------------+-------------------------------------------------------------------------------+
| WSREP_CLUSTER_SIZE        | 3                                                                             |
| WSREP_CLUSTER_STATUS      | Primary                                                                       |
| WSREP_INCOMING_ADDRESSES  | mariadb1.weave.local:3306,mariadb3.weave.local:3306,mariadb2.weave.local:3306 |
| WSREP_LOCAL_STATE_COMMENT | Synced                                                                        |
+---------------------------+-------------------------------------------------------------------------------+

Roteamento de banco de dados com ProxySQL

$ cat /containers/proxysql1/proxysql.cnf
datadir="/var/lib/proxysql"
admin_variables=
{
        admin_credentials="admin:admin"
        mysql_ifaces="0.0.0.0:6032"
        refresh_interval=2000
}
mysql_variables=
{
        threads=4
        max_connections=2048
        default_query_delay=0
        default_query_timeout=36000000
        have_compress=true
        poll_timeout=2000
        interfaces="0.0.0.0:6033;/tmp/proxysql.sock"
        default_schema="information_schema"
        stacksize=1048576
        server_version="5.1.30"
        connect_timeout_server=10000
        monitor_history=60000
        monitor_connect_interval=200000
        monitor_ping_interval=200000
        ping_interval_server=10000
        ping_timeout_server=200
        commands_stats=true
        sessions_sort=true
        monitor_username="proxysql"
        monitor_password="proxysqlpassword"
}
mysql_servers =
(
        { address="mariadb1.weave.local" , port=3306 , hostgroup=10, max_connections=100 },
        { address="mariadb2.weave.local" , port=3306 , hostgroup=10, max_connections=100 },
        { address="mariadb3.weave.local" , port=3306 , hostgroup=10, max_connections=100 },
        { address="mariadb1.weave.local" , port=3306 , hostgroup=20, max_connections=100 },
        { address="mariadb2.weave.local" , port=3306 , hostgroup=20, max_connections=100 },
        { address="mariadb3.weave.local" , port=3306 , hostgroup=20, max_connections=100 }
)
mysql_users =
(
        { username = "sbtest" , password = "password" , default_hostgroup = 10 , active = 1 }
)
mysql_query_rules =
(
        {
                rule_id=100
                active=1
                match_pattern="^SELECT .* FOR UPDATE"
                destination_hostgroup=10
                apply=1
        },
        {
                rule_id=200
                active=1
                match_pattern="^SELECT .*"
                destination_hostgroup=20
                apply=1
        },
        {
                rule_id=300
                active=1
                match_pattern=".*"
                destination_hostgroup=10
                apply=1
        }
)
scheduler =
(
        {
                id = 1
                filename = "/usr/share/proxysql/tools/proxysql_galera_checker.sh"
                active = 1
                interval_ms = 2000
                arg1 = "10"
                arg2 = "20"
                arg3 = "1"
                arg4 = "1"
                arg5 = "/var/lib/proxysql/proxysql_galera_checker.log"
        }
)

• configurar dois grupos de hosts, o grupo de gravador único e o grupo de vários gravadores, conforme definido na seção "mysql_servers",
• enviar leituras para todos os nós Galera (hostgroup 20) enquanto as operações de gravação irão para um único servidor Galera (hostgroup 10),
• agende o proxysql_galera_checker.sh,
• use monitor_username e monitor_password como as credenciais de monitoramento criadas quando inicializamos o cluster (mariadb0).

$ mkdir -p /containers/proxysql2/ # on host2
$ scp /containers/proxysql1/proxysql.cnf /container/proxysql2/ # on host1

$ docker run -d \
        --name=${NAME} \
        --publish 6033 \
        --publish 6032 \
        --restart always \
        --net=weave \
        $(weave dns-args) \
        --hostname ${NAME}.weave.local \
        -v /containers/${NAME}/proxysql.cnf:/etc/proxysql.cnf \
        -v /containers/${NAME}/data:/var/lib/proxysql \
        severalnines/proxysql

$ docker exec -it proxysql1 mysql -uadmin -padmin -h127.0.0.1 -P6032 -e 'select hostgroup_id,hostname,status from mysql_servers'
+--------------+----------------------+--------------+
| hostgroup_id | hostname             | status       |
+--------------+----------------------+--------------+
| 10           | mariadb1.weave.local | ONLINE       |
| 10           | mariadb2.weave.local | OFFLINE_SOFT |
| 10           | mariadb3.weave.local | OFFLINE_SOFT |
| 20           | mariadb1.weave.local | ONLINE       |
| 20           | mariadb2.weave.local | ONLINE       |
| 20           | mariadb3.weave.local | ONLINE       |
+--------------+----------------------+--------------+

Endereço IP virtual com Keepalived

vrrp_instance VI_DOCKER {
   interface ens33               # interface to monitor
   state MASTER
   virtual_router_id 52          # Assign one ID for this route
   priority 101
   unicast_src_ip 192.168.55.161
   unicast_peer {
      192.168.55.162
   }
   virtual_ipaddress {
      192.168.55.160             # the virtual IP
}

$ mkdir -p /containers/keepalived2/ # on host2
$ scp /containers/keepalived1/keepalived.conf /container/keepalived2/ # on host1

$ sed -i 's/101/100/g' /containers/keepalived2/keepalived.conf

$ docker run -d \
        --name=${NAME} \
        --cap-add=NET_ADMIN \
        --net=host \
        --restart=always \
        --volume /containers/${NAME}/keepalived.conf:/usr/local/etc/keepalived/keepalived.conf \ osixia/keepalived:1.4.4

• --nome , crie um contêiner com
• --cap-add=NET_ADMIN , adicione recursos do Linux para escopo de administração de rede
• --net=host , anexe o contêiner à rede do host. Isso fornecerá o endereço IP virtual na interface do host, ens33
• --restart=sempre , sempre mantenha o contêiner em execução,
• --volume=/containers/${NAME}/keepalived.conf:/usr/local/etc/keepalived/keepalived.conf , mapeie o arquivo de configuração personalizado para uso do contêiner.

$ ip a | grep ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    inet 192.168.55.161/24 brd 192.168.55.255 scope global ens33
    inet 192.168.55.160/32 scope global ens33

Resumo