Obter o valor da coluna da linha anterior no postgres não pode usar a função de janela em UPDATE

• 
  gwma_duration e duration devem ser a mesma coluna e diferem devido a erros de digitação.
  
• 
  Você deseja ordenar por uma coluna chamada order_column . Substitua pelas suas colunas reais.
  
• 
  Suas colunas de chave primária são res_id . Substitua pelas suas colunas reais.
  

Coloque batom em um porco:

CREATE OR REPLACE FUNCTION vin_calc()
  RETURNS void AS
$func$
DECLARE
   r res%rowtype;
   i integer := 0;
   last_grp text;
BEGIN

FOR r IN
   SELECT * FROM res
LOOP
   IF last_grp <> r.prod_grp_nm THEN
      i := 1;
   ELSE
      i := i + 1;
   END IF;

   IF i < 3 THEN
      UPDATE res
      SET    duration = i - 1
      WHERE  dur = r.dur
      AND    prod_grp_nm = r.prod_grp_nm
      AND    week_end = r.week_end;

   ELSE
      UPDATE res r1
      SET    duration = r.dur * 0.125 + 
            (SELECT 0.875 * gwma_duration FROM res
             WHERE order_column < r1.order_column
             ORDER BY order_column
             LIMIT 1
            )  -- could be replaced with last_duration, analog to last_grp
      WHERE  r1.dur = r.dur
      AND    r1.prod_grp_nm = r.prod_grp_nm
      AND    r1.week_end = r.week_end;
   END IF;

   last_grp := r.prod_grp_nm;

   END LOOP;
END
$func$
LANGUAGE plpgsql;

• 
  Use o cursor implícito de um FOR laço . Não há necessidade de cursor explícito pesado.
  
• 
  Nunca cite o nome do idioma plpgsql , que é um identificador, não uma string.
  
• 
  Simplificou sua lógica em vários lugares.
  
• 
  O mais importante , como a mensagem de erro informa, você não pode usar funções de janela em um SET cláusula de um UPDATE . Substituí-o por uma subconsulta correlacionada. Mas provavelmente poderia ser substituído por last_duration , analógico para last_grp :apenas lembre-se do valor da última iteração.
  

Solução adequada

UPDATE res r
SET    duration = CASE WHEN r0.rn < 3
                     THEN r0.rn - 1
                     ELSE r0.last_dur * 0.875 + r.dur * 0.125
                  END
FROM  (
   SELECT res_id, duration
        , row_number()  OVER (PARTITION BY prod_grp_nm ORDER BY order_column) AS rn
        , lag(duration) OVER (PARTITION BY prod_grp_nm ORDER BY order_column) AS last_dur
   FROM res
   ) r0
WHERE  r.res_id = r0.res_id

• 
  Para ser claro:você pode use funções de janela no FROM cláusula - pelo menos nas versões modernas do Postgres.
  
• 
  Use row_number() , não rank() para ser equivalente ao seu código de procedimento.