Sua consulta atual é contraditória, pois uma única linha nunca pode corresponder à cláusula WHERE. Imagino que você queira algo assim.
SELECT product_id
FROM table
WHERE (key='free_shipping' and value='yes') or (key='price' and value='5')
GROUP BY product_id
HAVING COUNT(DISTINCT key) = 2
