Você não precisa escapar tanto. Você pode usar apenas aspas simples fora da consulta e aspas duplas dentro, ou seja, mas cuidado para ter o tipo como hexadecimal, significando "03" e não "3"
mongodump --host localhost --db test --collection bd --query
'{"_id" : { "$binary" : "ryBRQ+Px0kGRsZofJhHgqg==", "$type" : "03" } }'
