Você tem a ideia certa, mas na última etapa da agregação o que você quer fazer é agrupar todas as pontuações por aluno e encontrar o valor $min.
Altere a última operação de pipeline para:
{ $group: {
_id: "$_id",
minScore: {$min: "$scores.score"}
}}
