Eu encontrei PDO em muitas situações/projetos para ser ainda mais rápido do que os módulos mais nativos.
Principalmente porque muitos padrões/blocos de construção em uma "aplicação PDO" requerem menos código orientado a script php e mais código é executado no compilado extensão e há uma penalidade de velocidade ao fazer coisas no script. Testes simples e sintéticos sem dados e tratamento de erros geralmente não cobrem essa parte, e é por isso que (entre outros problemas, como, por exemplo, imprecisões de medição) acho que as conclusões "10000x SELECT x FROM foo levaram 10ms mais" estão perdendo o ponto com mais frequência.
Não posso fornecer referências sólidas e o resultado depende de como o aplicativo ao redor lida com os dados, mas mesmo os testes sintéticos geralmente mostram apenas diferenças tão insignificantes que é melhor você gastar seu tempo otimizando suas consultas, o servidor MySQL, a rede, ... em vez de se preocupar com o desempenho bruto do PDO. Muito menos segurança e tratamento de erros...