Você precisa armazenar o resultado da sua instrução SELECT em uma variável (neste caso, "Result"):
create or replace function gettaxmin
(period_tax_type_id in double precision, tax_range in number)
return double precision
is
Result double precision;
begin
SELECT CASE WHEN max(tax_range) is null THEN 0 ELSE max(tax_range) END
INTO Result
FROM period_tax_rates WHERE (tax_range < 1) AND (period_tax_type_id = 2);
return Result;
end gettaxmin;