O RDS tem um grupo de segurança - no console da AWS, RDS, há uma entrada para grupos de segurança.

Se você não criou explicitamente um grupo de segurança, provavelmente está usando "padrão". Você provavelmente deve ter um grupo por instância do RDS.

Você precisará certificar-se de que a porta 3306 esteja aberta para sua rede local, bem como qualquer aplicativo que você esteja usando para se conectar a ela. Você pode permitir o acesso por IP ou por grupo de segurança.