Esta deve ser a consulta que você está procurando:
SELECT category, COUNT(*) FROM products GROUP BY category;
Eu recomendaria pensar no design da sua tabela de categorias, pois isso pode causar dificuldades no futuro.
SELECT category, COUNT(*) FROM products GROUP BY category;