Sim, é possível, você precisará ler os dados dos arquivos CSV usando o módulo CSV.

https://docs.python.org/library/csv.html

E injete os dados usando a ligação Python MySQL. Aqui está um bom tutorial inicial:

https://zetcode.com/databases/mysqlpythontutorial/

Se você já conhece python, será fácil