Seu servidor MySQL está aceitando conexões apenas no socket *nix (/var/run/mysqld/mysqld.sock se você estiver executando o Ubuntu) ou apenas para localhost.

Você tem que editar seu my.cnf (no Ubuntu novamente está localizado em /etc/mysql/my.cnf) e alterar o seguinte:

bind-address = 0.0.0.0

E comente o seguinte

#skip-networking

Finalmente reinicie o MySQL.

Tenha cuidado com isso, se sua máquina MySQL for acessível pela Internet pública estará aceitando conexões de todos!