Do primário, verifique se você consegue se conectar ao secundário
mongo --host repset1.com --port 27017
Quando o acima falha pode ser problema de firewall ou BindIP.
Verifique o bind_ip (deve ser 0.0.0.0, a mudança no mongodb.conf é 127.0.0.1):
netstat -plunt | grep :27017 | grep LISTEN
Olhe para os arquivos de log dos secundários, por que eles estão presos. Eles receberam os detalhes de configuração?
Tente reconfigurar, consulte mongo replicaset reconfigure