SELECT column1 FROM table WHERE ISNUMERIC(column1) = 1
Observe que, como Damien_The_Unbeliever apontou, isso incluirá qualquer tipo numérico válido.
Para filtrar colunas contendo caracteres não dígitos (e strings vazias), você pode usar
SELECT column1 FROM table WHERE column1 not like '%[^0-9]%' and column1 != ''
