No site do OpenSSL, há uma página para pacotes binários:http://www.openssl. org/related/binaries.html

Eu acho que é isso que você quer para o Windows.

Não posso dizer o quão bom vai funcionar. Esclareça também o que você quer fazer. Você não pode "criar SSL para MySQL no Windows". Você quer que o MySQL tenha conexões criptografadas SSL, talvez?