Você acertou quase. Tente este:
db.privateMessages.find( { $or : [ {fromId: userId, toId: socket.userId} ,
{fromId: socket.userId, toId: userId} ] },
{},
{ limit : 2 },
function(err, messages) { pushSvdMsgs(messages); });
A sintaxe é
find(query, fields, options)
. Precisamos desse objeto vazio para que o driver interprete as opções corretamente.