Você deve limpar o campo Codificação na guia Definições, quando você clicar no botão Salvar, ele ainda mostrará um pop-up de erro, mas o banco de dados será criado.
Parece que o pgAdmin 4 tem um bug em sua lib psycopg2. Acabei de escrever uma pergunta para isso:
Erro ao criar banco de dados do pgadmin4