A resposta curta é:você não pode, agora, executar consultas SQL automaticamente na criação da instância (no futuro, quem sabe...).

Eu usaria a seguinte maneira para resolver esse problema clássico:

• Use um EC2 para executar o código MySQL que você precisa (não tenho certeza se você precisa colocar uma cláusula "DependsOn" no EC2, pois você terá que se referir ao endpoint RDS com um GetAtt, que provavelmente colocará um cláusula DependsOn). Você coloca isso nos dados do usuário ou em qualquer script que desejar, desde que passe o endpoint RDS de alguma forma. Claro, você precisará do pacote cliente MySQL instalado em seu EC2.

Como você escreveu, o CloudFormation permite que você crie recursos da AWS, mas o preenchimento desses recursos depende de você. Mais uma vez, um cliente MySQL fará o truque (já que um dump MySQL não é mais do que código SQL em um arquivo, igual ao seu requisito inicial).

Usar o Chef ou Puppet não resolverá seu problema sozinho, pois ambos precisam de um agente instalado em um EC2, você não pode executar seu agente no servidor RDS. Portanto, você pode ter um EC2 usando um agente Chef ou Puppet, que por sua vez iniciará o script MySQL, mas isso não fornecerá muito mais do que a solução anterior