Esse erro indica que você está tentando adicionar um PostgreSQL banco de dados em vez de um PostGIS base de dados. Você precisa adicionar a extensão PostGIS ao banco de dados com este comando:
psql -d yourdatabase -c "CREATE EXTENSION postgis;"
psql -d yourdatabase -c "CREATE EXTENSION postgis_topology;"
Isso permitirá que você armazene geometrias (e geografias) em suas tabelas que o GeoServer pode exibir como camadas de mapa.
