Eu descobri graças a um comentário neste post http://laravel.io/forum/02-21-2014-order-and-paginate-a-collection-by-a-releted-field-using-eloquent .
User::leftJoin('images', function ($join) {
$join->on('users.id', '=', 'images.imageable_id')
->where('imageable_type', '=', 'User')
->where('upload_date', '=', Carbon::today()->toDateString());
})
->orderBy('images.views')
->select(['players.*']);
Eu tentei algo semelhante a isso antes, mas estava encontrando problemas porque os ids e outras colunas estavam em conflito entre as duas tabelas unidas. A diferença desta vez é
->select(['users.*']) . Agora, apenas os dados do usuário são retornados. 
