Você pode fazer o mesmo com Scala. Use JDBC (java.sql.{Connection,DriverManager} ) e obtenha o conjunto de resultados.

Você não pode, porque esta não é uma consulta do Postgres. O que você executa em spark.sql é uma consulta do Spark. O que você pode fazer é usar a subconsulta:

• No Apache Spark 2.0.0, é possível buscar uma consulta de um banco de dados externo (em vez de pegar toda a tabela)?
• Como usar a consulta SQL para definir a tabela em dbtable?

Talvez atenda às suas necessidades (se a consulta não precisar ser dinâmica). Infelizmente, o Spark SQL também não suporta tipos geométricos, portanto, pode ser necessário convertê-lo em algo consumível pelo Spark ou definir seu próprio dialeto.