Existem alguns plug-ins de formulário modal como este em Apex-Plugin.com . Eu mesmo não usei, então não posso garantir.
Como alternativa, use a função "Visualizar fonte" do seu navegador na página do Apex que você gosta e você verá todas as definições de função e onde elas são chamadas. Parece estar usando apenas as bibliotecas JQuery padrão que vêm com o Apex 4.0
Atualização 04/10/2011:
Recentemente, usei este plug-in de página modal , e pode recomendá-lo. Há muitas instruções, incluindo um vídeo de meia hora no YouTube mostrando como usá-lo.
