Você pode converter a data/hora em segundos e fazer aritmética nos segundos para obter o valor dentro de um intervalo de relógio de 15 minutos:
select card_id, min(date(tran_dt)) as first_charge_time, merchant_id, count(*)
from tran
group by card_id, floor(to_seconds(tran_dt) / (60 * 15)), merchant_id
having count(*) >= 3;
O acima usa
to_seconds() . Em versões anteriores do MySQL, você pode usar unix_timestamp() . Conseguir qualquer intervalo de 15 minutos é mais desafiador. Você pode expressar a consulta como:
select t1.*, count(*) as numTransactions
from tran t1 join
tran t2
on t1.merchant_id = t2.merchanti_d and
t1.card_id = t2.card_id and
t2.tran_dt >= t1.tran_dt and
t2.tran_dt < t1.tran_dt + interval 15 minute
group by t1.id
having numTransactions >= 3;
O desempenho dessa consulta pode ser problemático. Um índice em
trans(card_id, merchant_id, tran_dt) deve ajudar muito. 
