Você não executa algum arquivo psql.exe, mas o arquivo C:\Program Files\PostgreSQL\10\scripts\runpsql.bat , por exemplo, programaticamente, e.g. de AHK:

execute, "C:\Arquivos de Programas\PostgreSQL\10\scripts\runpsql.bat"

Em seguida, você obtém uma janela de comando genérica do Windows que faz as perguntas certas (veja acima) e, quando respondida corretamente, fornece o prompt de comando psql.