Já fiz migrações semelhantes e acho que você está no caminho certo.
Basta pegar um mysqldump do seu banco de dados e armazená-lo em um arquivo, por exemplo:
mysqldump -h [host] -u [user] -p[password] [dbname] > dumpfilename.sql
Absolutamente. Você pode se conectar a uma instância do MySQL RDS da mesma forma que se conectaria a qualquer outra instância do MySQL. O nome do host é referido como "endpoint" no Console de gerenciamento da AWS.
Uma vez que você criou a instância do RDS e configurou o security group, você está pronto para carregar o dump:
mysql -h [endpoint] -u [user] -p[password] [dbname] < dumpfilename.sql
