Você pode adicionar uma restrição não validada - ela não examinará as linhas existentes, mas será verificada por quaisquer linhas novas ou atualizadas.
ALTER TABLE mytable MODIFY mycolumn NOT NULL NOVALIDATE;
Esteja ciente de que você não poderá atualizar uma linha existente a menos que ela satisfaça a restrição.
Além disso, esteja ciente da desvantagem de que o otimizador não poderá aproveitar essa restrição ao fazer seus planos - ele deve assumir que algumas linhas ainda podem ter um valor nulo.