Você só precisa juntar a tabela, se você não sabe como fazer isso, faça uma pesquisa no mysql LEFT JOIN e INNER JOIN. Nesse caso, você deseja LEFT JOIN para poder incluir linhas sem uma reserva correspondente. Não posso escrever exatamente porque não conheço suas tabelas, mas este exemplo deve dar uma ideia:
SELECT * FROM chambres c
LEFT JOIN reservation_client rc ON rc.chambre = c.id
WHERE rc.date BETWEEN (your date range)
AND rc.id IS NOT NULL
