Eu sei que você provavelmente desistiu de uma resposta, mas...

Acho que você descobrirá que a maior parte do tempo extra está carregando e compilando o script PHP. se o seu aplicativo anterior era um módulo apache, ele é pré-compilado e sempre carregado, provavelmente escrito em c muito rápido em comparação com o PHP.

Tente usar um acelerador php como eaccelerator. que usa memória compartilhada e scripts pré-compilados para, às vezes, melhorar drasticamente o desempenho de aplicativos PHP.

DC