É estranho. Eu posso executar redis-cli no host A e no host B com o IP de A. A seguir está a saída de "docker ps"
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a59c39bf448e redis "/entrypoint.sh redis" 3 minutes ago Up 3 minutes 0.0.0.0:6379->6379/tcp test_redis_1
Depois de mapear a porta 6379 do contêiner redis para a porta 6379 do host. O serviço redis deve estar disponível para todas as interfaces de rede (0.0.0.0) do host A. Portanto, você não precisa alterar a configuração do redis.
Você pode mostrar a saída de "docker ps"?