Torne isso fácil.
Não envie um e-mail com a opção posterior. Você deve despachar um Trabalho com a opção posterior, e este trabalho será responsável por enviar o e-mail.
Dentro deste job, antes de enviar o email, verifique o par emailAddress-sendTime. Se estiver correto, envie o email, caso contrário, retorne true e o email não será enviado e o trabalho será concluído.