No MySQL Query Browser, clique com o botão direito na célula e selecione 'Clear field content' enquanto o foco está em outra célula.

No MySQL Workbench, clique com o botão direito na célula e selecione 'Set Field to NULL'.