Parece $addToSet está fazendo a mesma coisa que seu comando:$push with a $ne check . Ambos seriam O(N)
https://github.com/mongodb /mongo/blob/master/src/mongo/db/ops/update_internal.cpp
se a velocidade é realmente importante, por que não usar um hash:
ao invés de:
{'$addToSet': {'a':1}}
{'$addToSet': {'a':10}}
usar:
{$set: {'a.1': 1}
{$set: {'a.10': 1}
