Você precisa criar suas
updates
objeto em duas etapas:var updates = { $push: {} };
updates.$push["array.$.array2." + index + ".answeredBy"] = userId;
Atualizar
Agora que o node.js 4+ suporta computed nomes de propriedades , você pode fazer isso em uma etapa:
var updates = { $push: {
["array.$.array2." + index + ".answeredBy"]: userId
} };