Se os dados cabem na RAM, data.table é mais rápido. Se você fornecer um exemplo, provavelmente ficará evidente, rapidamente, que você está usando o data.table mal. Você leu o que pode e não deve no data.table wiki ?

SQL tem um limite inferior porque é um armazenamento de linha. Se os dados cabem na RAM (e 64 bits é bastante), então data.table é mais rápido não apenas porque está na RAM, mas porque as colunas são contíguas na memória (minimizando as buscas de página da RAM para L2 para operações de coluna). Use data.table corretamente e deve ser mais rápido que o limite inferior do SQL. Isso é explicado na FAQ 3.1. Se você está vendo mais lento com data.table, então as chances são muito altas de que você está usando data.table incorretamente (ou há um bug de desempenho que precisamos corrigir). Então, por favor, poste alguns testes, depois de ler o wiki data.table.