Tente atualizar para o Postgres 12.4. Estou tendo um problema semelhante e foi isso que o suporte da AWS me disse (resposta colada abaixo). [editado]
Atualizar
Inicialmente, eu não tinha feito isso funcionar completamente, mas posso confirmar a atualização para o Postgres 12.4 e a remoção e recriação da extensão funcionou.
DROP EXTENSION aws_s3 CASCADE;
DROP EXTENSION aws_commons CASCADE;
CREATE EXTENSION aws_s3 CASCADE;
Resposta original do AWS Support:
Com base na saída de describe-db-engine-versions[1], posso ver que apenas as versões de mecanismo específicas abaixo suportam o recurso s3Export. Portanto, a versão 12.2 não oferece suporte à exportação para o recurso S3.
[
{
"Engine": "postgres",
"EngineVersion": "10.14",
"SupportedFeatureNames": [
"s3Import",
"s3Export"
]
},
{
"Engine": "postgres",
"EngineVersion": "11.9",
"SupportedFeatureNames": [
"s3Import",
"s3Export"
]
},
{
"Engine": "postgres",
"EngineVersion": "12.4",
"SupportedFeatureNames": [
"s3Import",
"s3Export"
]
} ]