Em um contexto html,
<?php , <something , etc, é a abertura de uma tag html. Editar < com sua entidade html < para evitar que aconteça.. <?php
Melhor ainda, use htmlspecialchars:
<?php echo htmlspecialchars('<?php echo "test"; ?>'); ?>