Verifique se o campo é numérico e, em seguida, execute a comparação apenas nesses campos em uma instrução?

select * from purchaseorders
where (case when IsNumeric(purchase_order_number) = 1
       then cast(purchase_order_number as int)
       else 0 end) >= 7