Você pode fazer assim
DELETE FROM table WHERE id NOT IN ( 2 )
OU
DELETE FROM table WHERE id <> 2
Como @Frank Schmitt observou, você também pode ter cuidado com os valores NULL. Se você deseja excluir tudo o que não é
2 (incluindo os NULLs) e adicione OR id IS NULL para a cláusula WHERE. 
