Eu tive esse problema exato com o mysql/mariadb e obtive GRANDE pista com esta pergunta
Portanto, seu comando pyspark deve ser:
pyspark --conf spark.executor.extraClassPath=<jdbc.jar> --driver-class-path <jdbc.jar> --jars <jdbc.jar> --master <master-URL>
Observe também os erros quando o pyspark iniciar como "Aviso:jar local ... não existe, pulando". e "ERRO SparkContext:Jar not found at ...", provavelmente significa que você digitou o caminho errado.
