Nós apenas armazenamos os tempos sem datas anexadas como minutos desde a meia-noite em uma coluna inteira (isso é Postgres, não MySQL, mas mesmo assim). Talvez essa abordagem possa funcionar para você também?