Consegui estabelecer uma conexão SSL entre o Google Data Studio e o Amazon RDS PostgreSQL usando o certificado do servidor Amazon e o certificado de cliente autoassinado + chave criada com OpenSSL:
openssl req -newkey rsa:2048 -nodes -keyout client.key -x509 -days 365 -out client.crt
Extraído de https://stackoverflow.com/a/48994943/2789084 .