Você precisará reconstruir o índice clusterizado (supondo que você tenha um - por padrão, sua chave primária é a chave clusterizada).
ALTER INDEX (your clustered index) ON TABLE (your table) REBUILD
Os dados são realmente o nível folha do seu índice clusterizado - uma vez que você o reconstrua, ele será "compactado" e as linhas devem ser armazenadas em muito menos páginas de dados, reduzindo o tamanho do banco de dados também.
Se isso não ajudar, talvez você também precise executar um DBCC SHRINKDATABASE em seu banco de dados para realmente recuperar o espaço. Essas duas etapas juntas devem realmente gerar um arquivo de banco de dados menor!
Marco
