Seu uso dos
--packages argumento está errado:--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Ele precisa estar na forma de
groupId:artifactId:version como a saída sugere. Você não pode usar um URL com ele. Um exemplo para usar mongoDB com spark com o suporte de repositório integrado:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Se você insistir em usar seu próprio jar, você pode fornecê-lo via
--repositories . O valor do argumento é Por exemplo, no seu caso, pode ser
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
