Embora não seja infalível, você pode verificar a string USER_AGENT e executar esse código apenas se o 'bot' não existir.
if(stripos($_SERVER['HTTP_USER_AGENT'],'bot') === false){ }
Isso interromperia qualquer bot que realmente tivesse bot na string do agente do usuário que também não prestasse atenção ao robots.txt.
