connectTimeoutMS é uma opção de soquete que é especificada assim:
var databaseUrl = 'mongodb://localhost/doesnotexist';
var options = { server: { socketOptions: { connectTimeoutMS: 10000 }}};
var db = mongoose.connect(databaseUrl, options, function (err) {
})