Você pode usar citações literais:
stmt := q'[insert into MY_TBL (Col) values('ER0002')]';
A documentação para literais pode ser encontrada aqui.
Alternativamente, você pode usar duas aspas para denotar uma aspas simples:
stmt := 'insert into MY_TBL (Col) values(''ER0002'')';
O mecanismo de cotação literal com a sintaxe Q é mais flexível e legível, IMO.
