Qualquer pessoa que encontre esse problema hoje deve conferir este vídeo do YouTube por volta das 6:05:

Configuração do banco de dados MySQL do AWS RDS | Tutorial passo a passo .

Em poucas palavras, você precisa criar uma nova regra de segurança de entrada para permitir uma conexão externa.