Instalei a seguinte biblioteca no Ubuntu e depois disso, o problema foi resolvido.
sudo apt-get install libssl-dev
e então consegui instalar o mysqlclient usando o seguinte comando
pip install mysqlclient
sudo apt-get install libssl-dev
pip install mysqlclient
