O MySQL não torna esse tipo de consulta fácil, mas uma solução (reconhecidamente não muito bonita) é usar uma variável para dar a cada linha um número de sequência por dest e apenas agrupar pelo número inteiro da linha dividido por 2 para obter dois números em cada grupo;
SELECT dest, GROUP_CONCAT(port ORDER BY rank) ports
FROM (
SELECT dest, port, (
CASE dest WHEN @curDest
THEN @curRow := @curRow + 1
ELSE @curRow := 1 AND @curDest := dest END) rank
FROM tb_port a
JOIN tb_rule c ON a.id = c.id_port
JOIN tb_dest b ON b.id = c.id_dest,
(SELECT @curRow := 0, @curDest := '') r
ORDER BY dest
) z
GROUP BY FLOOR(rank/2),dest
ORDER BY dest, MIN(rank)
Um SQLfiddle para testar .
