Laravel leftJunte-se apenas ao último registro da tabela direita

Aqui temos 2 tabelas usuários e respostas onde usuários é a tabela esquerda e respostas é a tabela certa que tem respostas do usuário.

Queríamos deixar de participar dos usuários com respostas mas a junção deve ser com o último registro ou respostas tabela.

$query = Users::select('users.id', 'users.user_name','answers.created_at as last_activity_date')
->leftJoin('answers', function($query) 
{
   $query->on('users.id','=','answers.user_id')
   ->whereRaw('answers.id IN (select MAX(a2.id) from answers as a2 join users as u2 on u2.id = a2.user_id group by u2.id)');
})
->where('users.role_type_id', Users::STUDENT_ROLE_TYPE)->get();