A questão é que isso:

python3.8 -m pip install pandas

instala um pacote (pandas neste caso) nos site-packages no diretório inicial do usuário que está executando o comando, então:

/home/my_user/.local/lib/python3.8/site-packages

O plpython3u extensão em execução no Postgres está procurando o pacote em todo o sistema site-packages . Para obter o pacote lá, você precisa fazer:

sudo python3.8 -m pip install pandas