Se você selecionar atributos que não são usados na cláusula de grupo e não são agregados, o resultado não é especificado. I.e você não sabe de quais linhas os outros atributos são selecionados. (O padrão sql não permite tais consultas, mas o MySQL é mais relaxado).
A consulta deve então ser escrita, por exemplo. como
SELECT post_id, forum_id, topic_id
FROM posts p
WHERE post_time =
(SELECT max(post_time) FROM posts p2
WHERE p2.topic_id = p.topic_id
AND p2.forum_id = p.forum_id)
GROUP BY forum_id, topic_id, post_id
ORDER BY post_time DESC
LIMIT 5;
ou
SELECT post_id, forum_id, topic_id FROM posts
NATURAL JOIN
(SELECT forum_id, topic_id, max(post_time) AS post_time
FROM posts
GROUP BY forum_id, topic_id) p
ORDER BY post_time
LIMIT 5;