Você pode usar o
ISNUMERIC função:select * from table where isnumeric(mycolumn) = 0
Se você permitir valores NULL em sua coluna, também precisará adicionar uma verificação para NULLs, pois
ISNUMERIC(NULL) também avalia 0 select * from table where isnumeric(mycolumn) = 0 or mycolumn is not null
