Você consultou a documentação do mongodb para updateOne ?Você tem que especificar um operador de atualização como
$set
:for hostname, services in dataset[0].items():
db.titleHardware.update_one({'hostname':hostname},
{'$set': {services.keys()[0]: services.values()[0]}},
upsert=True)