select * from table
where column_value not like '[^0-9]'
Se inteiros negativos são permitidos, você precisa de algo como
where column_value like '[+-]%'
and substring(column_value,patindex('[+-]',substring(column_value,1))+1,len(column_value))
not like '[^0-9]'
Você precisa de mais código se column_value puder ser um número inteiro que exceda os limites do tipo "int" e você deseja excluir esses casos.