Como este é mais de um ano atrás, você já deve ter resolvido esse problema, mas talvez outros (como eu) tenham o mesmo problema e, portanto, quero adicionar minha solução:
Em algum fórum do MySQL encontrei um cara postando uma fórmula e depois de calcular para o meu servidor e meu sistema descobri que tentei usar 2 GB de RAM a mais que o sistema não tinha. Aqui está e espero que ajude alguém.
RAM = innodb_pool_buffer_size + key_buffer_size +
( (read_buffer_size + sort_buffer_size + read_rnd_buffer_size + join_buffer_size)
* max_connection )
