Pelo erro que você postou, acho que você tem algum tipo de dependência do mysql ausente.
_mysql.c:44:10: fatal error: my_config.h: No such file or directory
44 | #include "my_config.h"
| ^~~~~~~~~~~~~
Olhando para a página do github para mysqlclient talvez você possa tentar executar:
sudo apt-get install python3-dev default-libmysqlclient-dev build-essential
Na minha experiência, falta um
.h arquivo geralmente significa que há uma biblioteca de desenvolvimento ausente do seu computador que a extensão python precisa 
