Neste tutorial do Hadoop , vamos discutir o conceito de Failover Automático de NameNode no Hadoop Antes de tudo, veremos o que é failover e os tipos de failover. Em seguida, abordaremos o HDFS failover automático no Hadoop.
Componentes do Hadoop Automatic Failover no HDFS, como o quorum do ZooKeeper, o ZKFailoverController Process (ZKFC). Por fim, também discutiremos as funções desses dois componentes no Hadoop .
O que é Failover?
O processo no qual o sistema transfere seu controle para o sistema secundário quando detecta uma falha é conhecido como failover .
O failover é de dois tipos:
- Failover Gracioso – O administrador inicia o Graceful Failover manualmente, por exemplo, no caso de manutenção de rotina. O sistema não ativará um failover automaticamente do namenode ativo para o de espera, mesmo que o nó ativo tenha falhado no Graceful Failover.
- Failover automático – O Failover Automático é o processo no qual o sistema transfere automaticamente seu controle para o NameNode em espera quando o NameNode falha. No Hadoop, o failover automático ocorre em caso de falhas de NameNode. Mas no caso de falha do NameNode, o Failover será iniciado automaticamente. Este failover é um failover automático.
Failover automático de NameNode no Hadoop
O failover automático no Hadoop adiciona os componentes abaixo a uma implantação do Hadoop HDFS:
- Quórum do ZooKeeper.
- Processo ZKFailoverController (ZKFC).
1. Quórum do ZooKeeper
O Zookeeper no Hadoop é um serviço centralizado. Ele mantém informações de configuração, nomenclatura e fornece sincronização distribuída. Também oferece serviços de grupo. O Zookeeper também gerencia e coordena um grande cluster de máquinas.
Pelas razões abaixo, a implementação do failover automático do HDFS depende do Zookeeper:
- Detecção de falhas- O Zookeeper no Hadoop mantém uma sessão com os namenodes. Durante uma falha, a sessão expirará. Assim, o Zookeeper informará outros namenodes para iniciar o processo de failover.
- Eleição de nó de nome ativo- Um mecanismo simples fornecido pelo Zookeeper para eleger apenas um nó como ativo. No momento da falha do namenode ativo, outro namenode pode ter um bloqueio exclusivo no Zookeeper informando que deseja se tornar o próximo namenode ativo.
2. ZKFailoverController (ZKFC)
O ZKFC é um cliente do Zookeeper no Hadoop que monitora e gerencia o status do namenode. Cada uma das máquinas que executam o serviço namenode também executa um ZKFS. Ele pode lidar com:
- Monitoramento de saúde – Com um comando de verificação de integridade, o ZKFS faz ping em seu namenode local. O ZKFS considera o namenode íntegro, desde que o namenode responda de cada vez. O monitor de integridade marcará um nó como não íntegro, se o nó falhou ou entrou em um estado não íntegro.
- Gerenciamento de sessão do Zookeeper – O ZKFC mantém uma sessão aberta no Zookeeper quando o namenode local está íntegro. Ele também contém um znode de “bloqueio” especial, se o namenode local estiver ativo. Se a sessão expirar, o bloqueio será excluído automaticamente.
- Eleição baseada no zookeeper – No HDFS, se o namenode local estiver íntegro e o ZKFC perceber que nenhum outro nó contém o znode de bloqueio, ele mesmo tentará obter o bloqueio. E, se for bem-sucedido, ganhou a eleição”, e lida com a execução de um failover para tornar seu namenode local ativo.
Conclusão
Portanto, o Failover Automático no Hadoop é iniciado automaticamente em caso de falha do NameNode. O failover automático adiciona componentes de quorum ZooKeeper e ZKFailoverController Process (ZKFC) a uma implantação de HDFS.
O Zookeeper no Hadoop é um serviço que fornece o recurso de failover automático no HDFS .
