Os endereços IP são basicamente inteiros.

Armazene-os como números inteiros e use o índice na coluna correspondente - as consultas serão muito rápidas dessa maneira. Apenas tenha em mente que os endereços ipv6 são muito grandes para inteiros de 32 bits, então você pode querer considerar o uso de varchar(16) e armazenar representações binárias de seus endereços IP.

Com relação ao desempenho da sua aplicação, na minha opinião, é sempre bom usar algum tipo de sistema de cache para esse tipo de estatística. Por exemplo, regenere suas estatísticas somente se um determinado intervalo de tempo tiver passado.