Você está bem perto. Ao trabalhar com subconsultas correlacionadas, sempre use aliases de tabela para ficar absolutamente claro sobre a origem das colunas:
select S.Date, Unit_price,
(SELECT min(s2.Unit_Price)
FROM table s2
WHERE s2.DATE BETWEEN s.DATE - interval 3 day and
s.DATE - interval 1 day
) as min_price_3_days
FROM table S;