Use a função UNIX_TIMESTAMP.

SELECT (UNIX_TIMESTAMP(mydate)*1000) FROM...

UNIX_TIMESTAMP lhe dará segundos e você precisa multiplicar por 1000 para obter milissegundos.

Para converter de volta, use a função FROM_UNIXTIME().

SELECT FROM_UNIXTIME(date_in_milliseconds/1000) FROM ...

Novamente, você precisa dividir por 1000 para chegar a segundos antes de usar a função.