Vá para http://dev.mysql.com/downloads/connector/j e com no dropdown selecione "Platform Independent" então ele mostrará as opções para baixar o arquivo tar.gz ou arquivo zip.

Baixe o arquivo zip e extraia-o, com ele você encontrará mysql-connector-XXX.jar Arquivo

Se você estiver usando o maven, poderá adicionar a dependência do link http://mvnrepository .com/artifact/mysql/mysql-connector-java

Selecione a versão que deseja usar e adicione a dependência em seu pom.xml Arquivo