Para conectar através de uma porta (e não o padrão 3306), use:
mysqldump -u root -pmypassword -P 3308 dbname > out.sql
Além disso, um teste simples para ver se o MySQL responde na porta 3308 é tentar telnetar:
telnet 127.0.0.1 3308
Se o MySQL estiver escutando na porta 3308, ele responderá com um erro e a versão em execução.