Mongoose tem findOneAndUpdate (equivalente a mongoBD findAndModify . O MongoDB também introduziu o findOneAndUpdate na versão>=3.2) e findByIdAndUpdate . É por isso que findAndModify não funcionará com o Mongoose.

Quanto a qual é melhor, em findOneAndUpdate você pode passar o objeto de consulta contendo vários campos enquanto findByIdAndUpdate leva apenas id como o primeiro parâmetro.