Por que as inserções do SQL Server são tão lentas?

Você executa cada inserção dentro de sua própria transação.

Iniciar e confirmar a transação é muito caro em SQL Server .

Coloque tudo em um único bloco de transação:

declare @i int
set @i = 0
set nocount on
BEGIN TRANSACTION
while @i < 2000
begin
insert into testdb(testcolumn)
values (1)
set @i = @i + 1
end
COMMIT

Para gerar dados de amostra, você pode usar um CTE recursivo :

WITH    q (num) AS
        (
        SELECT  1
        UNION ALL
        SELECT  num + 1
        FROM    q
        WHERE   num < 2000
        )
INSERT
INTO    testdb(testcolumn)
SELECT  1
FROM    q
OPTION (MAXRECURSION 0)

, que será mais rápido.