o que você precisa fazer é adicionar phpmyadmin à configuração do apache:
sudo nano /etc/apache2/apache2.conf
Adicione a configuração do phpmyadmin ao arquivo:
Include /etc/phpmyadmin/apache.conf
então reinicie o apache:
sudo service apache2 restart
No Windows, acho que você pode simplesmente navegar até o arquivo de configuração apache2 e incluir o arquivo de configuração phpmyadmin como mostrado acima, depois reiniciar o apache