Você tem que apontar qual elemento do array deve ser usado na conversão, por exemplo.
alter table x alter column y set data type int4 using (y[1]::int)
db<>fiddle.
alter table x alter column y set data type int4 using (y[1]::int)
