Este não é um erro do psycopg:é um erro do PostgreSQL que o psycopg está apenas confiando.
O erro parece sugerir que não há text[]->jsonb[] implícito, então você precisa adicionar um manual:
INSERT INTO my_table (columns) VALUES (%s::jsonb[]);
INSERT INTO my_table (columns) VALUES (%s::jsonb[]);