Acho que você precisa usar a outra tabela para começar...

SELECT challenge.id AS challenge_id, entry.id AS entry_idFROMchallenge_details desafio
LEFT JOIN challenge_entries entradas ON entrys.challengeid =challenge.id e entry.userid =
ORDER BY challenge.start_date

adicionar um grupo por pode ser feito como você quiser ...