Você pode substituir as configurações padrão para aplicativos fornecendo um objeto de configuração para aplicativos ao criar um cluster. O objeto de configuração é referenciado como um arquivo JSON. Os objetos de configuração consistem em uma classificação, propriedades e configurações aninhadas opcionais. Propriedades são as configurações que você deseja alterar nesse arquivo. Você pode especificar várias classificações para vários aplicativos em um único objeto JSON.
Para substituir o hive-site.xml pelas informações externas do metastore do mysql, crie um arquivo de configuração chamado hiveConfiguration.json contendo edições no hive-site.xml:
[
{
"Classification": "hive-site",
"Properties": {
"javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
"javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
"javax.jdo.option.ConnectionUserName": "username",
"javax.jdo.option.ConnectionPassword": "password"
}
}
]
Use hiveConfiguration.json com o seguinte comando da AWS CLI para criar o cluster:
aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles
Referência:
https://docs.aws.amazon .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html
