max_heap_table_size é um limite no tamanho de qualquer tabela (temporária ou não) que usa o mecanismo de armazenamento MEMORY. Você terá que aumentar esta opção de configuração para armazenar mais dados na tabela.