Parece que você está tentando instalar uma extensão compilada para PHP 5.3 com PHP 5.4; a versão da API do módulo precisa corresponder à versão do PHP.
Se você baixar o driver PHP MongoDB pré-compilado do Github (por exemplo,
php_mongo-1.2.12.zip é a versão estável atual) inclui DLLs para várias versões do PHP (por exemplo, 5.2, 5.3 e 5.4). Você precisa copiar a DLL correta para o seu sistema e renomeá-la como php_mongo.dll. Você pode determinar a versão necessária do
phpinfo() saída em seu sistema (ou php -i a partir de uma linha de comando). Verifique o valor para "Zend Extension Build". Por exemplo:
Zend Extension Build => API220100525,NTS,VC9
.. indicaria que você deve usar a DLL NTS (não threadsafe).
No Windows de 64 bits, isso significaria copiar
php_mongo-1.2.12-5.4-vc9-nts-x86_64.dll para php_mongo.dll em seu diretório de extensão PHP. 
