Confira este Artigo MySQL sobre como trabalhar com as N principais coisas em agrupamentos arbitrariamente complexos; é coisa boa. Você pode tentar isso:
SET @counter = 0;
SET @category = '';
SELECT
*
FROM
(
SELECT
@counter := IF(posts.category = @category, @counter + 1, 0) AS counter,
@category := posts.category,
posts.*
FROM
(
SELECT
*
FROM test
ORDER BY category, date DESC
) posts
) posts
HAVING counter < 2