Você também precisa vincular a biblioteca (
-I
apenas especifica o diretório de inclusão). Tentar
g++ -I/usr/include/mysql -I/usr/include/mysql++ -L/usr/local/lib -lmysqlpp -lmysqlclient test.c
Aqui está um exemplo de makefile para você .
Aqui está uma linha de comando de amostra para etapas de compilação separadas (cria primeiro os arquivos de objeto e depois os vincula):
g++ -I/usr/include/mysql -I/usr/include/mysql++ -o test.o -c test.c
g++ -L/usr/local/lib -lmysqlpp -lmysqlclient -o test test.o