Estetutorial do Hadoop é tudo sobre Rack Awareness no Hadoop. Neste blog, descreveremos tudo sobre o Rack Awareness em HDFS .
Em primeiro lugar, estudaremos o que é a propriedade HDFS Rack Awareness, qual é a necessidade do Rack Awareness no Hadoop. Em seguida, discutiremos o posicionamento de réplicas via Rack Awareness no HDFS.
Por fim, também discutiremos os vários benefícios do Rack Awareness no framework Hadoop.
Introdução ao HDFS Rack Awareness
Reconhecimento de rack no Hadoop é o conceito que escolhe Datanodes mais próximos com base nas informações do rack. Por padrão, a instalação do Hadoop assume que todos os nós pertencem ao mesmo rack.
Para melhorar o tráfego de rede durante a leitura/gravação de arquivos HDFS em grandes clusters do Hadoop. NameNode escolhe os nós de dados, que estão no mesmo rack ou em uma rocha próxima para ler/gravar solicitações (nó cliente). HDFS Namenode obtém essas informações de rack mantendo os IDs de rack de cada nó de dados.
Por que aumentar a conscientização?
O principal objetivo da conscientização do Rack é:
- Melhore a confiabilidade e a disponibilidade dos dados.
- Melhor desempenho do cluster.
- Evita a perda de dados se todo o rack falhar.
- Para melhorar a largura de banda da rede.
- Mantenha o fluxo em massa no rack sempre que possível.
Colocação de réplica por meio do Rack Awareness no Hadoop
O principal objetivo da colocação de réplicas por meio de reconhecimento de rack, a política é melhorar a confiabilidade dos dados etc.
Uma política simples é colocar réplicas no rack para evitar a perda de dados quando um rack inteiro falha. E permite o uso de largura de banda de vários racks ao ler um arquivo.
Em vários clusters de rack, bloqueie a replicação segue a política abaixo:
Você não deve colocar mais de uma réplica em um nó. Você também não deve colocar mais de duas réplicas no mesmo rack. Isso tem um gargalo de que o número de racks usados para replicação de bloco deve ser sempre menor que o número total de réplicas de bloco.
Por exemplo;
- Quando uma estrutura do Hadoop cria um novo bloco, ela coloca a primeira réplica no nó local. E coloque um segundo em um rack diferente e o terceiro em um nó diferente no nó local.
- Ao replicar novamente um bloco, se o número de réplicas existentes for um, coloque a segunda em um rack diferente.
- Quando o número de réplicas existentes for dois, se as duas réplicas estiverem no mesmo rack, coloque a terceira em um rack diferente.
Vantagens do Rack Awareness no Hadoop
Vamos agora discutir algumas vantagens do Rack Awareness no Hadoop HDFS-
- Fornecer maior largura de banda e baixa latência – Essa política maximiza a largura de banda da rede transferindo blocos dentro de um rack em vez de entre racks. O YARN é capaz de otimizar o desempenho do trabalho do MapReduce atribuindo tarefas a nós que estão mais próximos de seus dados em termos de topologia de rede.
- Fornece proteção de dados contra falhas de rack – Namenode atribui as réplicas de bloco de 2 e 3 blocos a nós em rack diferente da primeira réplica. Assim, oferece proteção de dados mesmo contra falhas de rack. No entanto, isso só é possível se o Hadoop tiver sido configurado com conhecimento de sua configuração de rack.
- Minimize o custo de gravação e maximize a velocidade de leitura – Reconhecimento de rack, a política coloca solicitações de leitura/gravação para réplicas que estão no mesmo rack. Assim, isso minimiza o custo de gravação e maximiza a velocidade de leitura.
Conclusão
Em conclusão, é o conceito que escolhe Datanodes mais próximos com base nas informações do rack para melhorar a confiabilidade dos dados. O principal objetivo do Rack-Awareness é evitar a perda de dados se todo o rack falhar. Também melhora a largura de banda da rede. Saiba mais propriedades do HDFS em detalhes.
Se você tiver alguma dúvida relacionada ao Rack Awareness no Hadoop, compartilhe conosco na seção de comentários. Vamos tentar o nosso melhor para ajudá-lo.
