Dois problemas:
- o espaço entre -p e a senha
- o espaço dentro do caminho para o executável
Prefira isso:
runtime.exec(new String[]{"C:\\Program Files\\MySql\\MySql Server 5.5\\bin\\mysqldump", "-u", "root", "-pmyDatabase" "> D:\\backup.sql"});
Observe que, se você tiver um problema com o runtime.exec, verifique os fluxos que pode obter do Processo . Não olhar para esses fluxos em caso de erro é um pouco como não olhar para a exceção quando uma é lançada.
