Isso aponta para a causa mais provável do problema - uso ineficiente de conexões de banco de dados.

O TTFB inconsistente vem do fato de que às vezes sua solicitação chega enquanto todas as conexões disponíveis são consumidas e não liberadas na hora. O padrão pg driver neste caso causa um período de espera até que uma conexão fique disponível no pool.

Para resolver isso, você precisa analisar como você usa as conexões:

• o tamanho da piscina
• a forma como as conexões são gerenciadas em todas as solicitações