Na página da instância, logo abaixo dos gráficos de monitoramento, há um
connect
bloco com uma lista de grupos de segurança. Deve haver 1 grupo do tipo
security group - inbound
Na página desse grupo de segurança, você deve ter um
inbound
aba na parte inferior. 
Clique em
Edit
e adicione uma nova regra para seu IP atual. Verifique se a porta está correta. 
Agora você deve ser capaz de se conectar com
mysql -h [ENDPOINT] -P [PORT] -u [USERNAME] -p
Se você estiver atrás de um proxy, isso ainda poderá falhar. Você terá que fazer um túnel ou usar uma conexão Wi-Fi compartilhada.