Isso é o que resolveu o problema para mim. No painel do RDS, dê uma olhada no security group da sua instância. Clique nele e você será direcionado para a página do grupo de segurança.

Embora diga "Todo o tráfego" tanto para entrada quanto para saída, clique em editar e verifique se a fonte diz Meu IP. Eu não recomendaria usar todos os IPs, pois isso abriria para qualquer um na internet. Se você não tiver um IP estático, certifique-se de atualizar este campo assim que a conexão parar de funcionar.

Depois disso, consegui me conectar às instâncias T2 do AWS RDS.