O conjunto de réplicas tentará escolher outro servidor como o novo primário. Se você tiver três nós e um cair, os outros dois negociarão qual deles se tornará o novo mestre. Se dois falharem, ou de alguma forma a comunicação entre os restantes falhar, não haverá novo mestre até que a situação seja recuperada.
Os drivers oficiais suportam esse failover automático, assim como o servidor de roteamento mongos, se você o usar. Portanto, o código do aplicativo não precisa fazer nada aqui.
Não tenho certeza se haverá erros de conexão durante o breve período de tempo que essa negociação de failover leva (você provavelmente receberá erros por alguns segundos).