Uma opção é não usar spark-redis, mas pesquisar diretamente no Redis. Isso pode ser feito com df.mapPartitions função. Você pode encontrar alguns exemplos para Spark DStreams aqui https://blog.codecentric.de/en/2017/07/lookup-additional-data-in-spark-streaming/. A ideia do Structural Streaming é semelhante. Tenha cuidado para lidar com a conexão Redis corretamente.