Uma solução rápida é não mostrar a hora exata, mas sim o tempo decorrido. Exemplo:2 minutos atrás
E depois...
Como você sabe o tempo decorrido, você pode subtrair isso da hora atual do usuário. Você pode obter a hora atual do usuário com javascript.
var d = new Date();
var curr_hour = d.getHours();
var curr_min = d.getMinutes();
