De https://groups.google.com/forum/#! topic/mongoose-orm/0yUVXNyprx8 :
var Tasks = new Schema();
Tasks.add({
title : String
, subtasks : [Tasks]
});
Então você precisa construir a recursão passo a passo.
var Tasks = new Schema();
Tasks.add({
title : String
, subtasks : [Tasks]
});