Você pode criar duas chaves estrangeiras com uma restrição de verificação que diz que exatamente uma está vazia:
create table alien (id int primary key);
create table monster (id int primary key);
create table trophy (id int primary key,
alien_id int references alien(id),
monster_id int references monster(id),
check (alien_id is null <> monster_id is null)
);