Nenhum driver adequado encontrado para jdbc no Spark

Eu tive que adicionar o driver opção ao usar a sparkSession 's read função.

.option("driver", "org.postgresql.Driver")

var jdbcDF - sparkSession.read
  .option("driver", "org.postgresql.Driver")
  .option("url", "jdbc:postgresql://<host>:<port>/<DBName>")
  .option("dbtable", "<tableName>")
  .option("user", "<user>")
  .option("password", "<password>")
  .load()

Dependendo de como suas dependências estão configuradas, você notará que quando incluir algo como compile group: 'org.postgresql', name: 'postgresql', version: '42.2.8' no Gradle, por exemplo, isso incluirá a classe Driver em org/postgresql/Driver.class , e esse é o que você deseja instruir o spark para carregar.