MongoDB
 sql >> Base de Dados >  >> NoSQL >> MongoDB

Spark - Como criar uma variável diferente para cada contexto de executor?


Você deve usar o MongoConnector .

Ele lidará com a criação de uma coleção e é apoiado por um cache que lida com eficiência com o desligamento de qualquer MongoClients. É serializável para que possa ser uma transmissão e pode ter opções, um readConfig ou o contexto Spark para configurar onde se conectar.

MongoConnector usa o padrão de empréstimo para lidar com o gerenciamento de referência da conexão subjacente ao MongoDB e permite acesso no MongoClient , MongoDatabase ou a MongoCollection nível.