Não, você só pode herdar de uma imagem.

Você provavelmente não quer Java e MySQL na mesma imagem, pois é mais idiomático ter um único componente em um contêiner, ou seja, criar um contêiner MySQL separado e vinculá-lo ao contêiner Java em vez de colocar ambos no mesmo contêiner.

No entanto, se você realmente precisa tê-los na mesma imagem, escreva um Dockerfile com Java como imagem base (instrução FROM) e instale o MySQL no Dockerfile. Você deve ser capaz de copiar amplamente as instruções do MySQL Dockerfile oficial.