Parece-me que você só tenta atualizar o lado inverso e não o lado proprietário do relacionamento.

Conforme indicado na documentação da doutrina :