Encontrei a resposta sozinho, tive que separar a consulta em várias subconsultas.
SELECT
mq.*,
@indexer := @indexer + 1 AS indexer
FROM
(
SELECT
p.id,
p.tag_id,
p.title,
p.created_at
FROM
`posts` AS p
LEFT JOIN
`votes` AS v
ON p.id = v.votable_id
AND v.votable_type = "Post"
AND v.deleted_at IS NULL
WHERE
p.deleted_at IS NULL
GROUP BY
p.id
) AS mq
JOIN
(SELECT @indexer := 0) AS i
Aparentemente, isso causou uma grande quantidade de linhas acessadas para a consulta (conforme
EXPLAIN
), mas conseguiu consertar isso também com índices extras. A resposta completa para esse problema pode ser encontrada aqui:Calcular índices de linha com subconsulta com junções, resulta em linhas examinadas A*B