Retornar um tipo de dados SQL, por exemplo VARCHAR2. Além disso, eu não recomendo usar QUANDO OUTROS. Além disso, você não precisa de uma consulta no dual:
create or replace
function IS_NUMBER(str in varchar2) return varchar2
IS
n number;
BEGIN
n := to_number(str);
return 'Y';
EXCEPTION WHEN VALUE_ERROR THEN
return 'N';
END;
