Você tem poucas opções:
SELECT * FROM table WHERE id != 4;
SELECT * FROM table WHERE NOT id = 4;
SELECT * FROM table WHERE id <> 4;
Além disso, considerando que talvez em algum momento no futuro você queira adicionar/remover ids a esta lista, talvez outra tabela de ids que você não queira selecionáveis seja uma boa ideia.
Nesse caso você teria:
SELECT * FROM table
WHERE id NOT IN (SELECT id FROM exempt_items_table);