Não sei por que está ficando mais lento de repente, mas recomendo converter para uma junção, que deve ter um desempenho melhor:
SELECT t.*
FROM temp_company t
LEFT JOIN company c ON c.number = t.number
WHERE c.number is null
Esta é uma maneira bastante padrão de lidar com um
not in (...) por meio de uma junção e funciona porque as junções externas que não match tem nulos nas colunas da tabela unida. 
