Infelizmente, o que você está pedindo para fazer não é possível com o Eloquent.

A consulta de carregamento antecipado é totalmente separada da consulta inicial, portanto, os valores recuperados não estão mais disponíveis.

Suas opções são fazer uma junção em sua restrição (que você indicou que pode não funcionar) ou carregar todos os modelos relacionados e, em seguida, classificar/filtrar aqueles usando PHP.