Eu me deparei com este problema com um contêiner debian. O que resolveu foi instalar cada pacote com comandos separados. Então, em vez de

RUN apt-get install -y python-pip libmysqlclient-dev

Faz

RUN apt-get install -y python-pip

RUN apt-get install -y libmysqlclient-dev