Sim, é possível, você precisará ler os dados dos arquivos CSV usando o módulo CSV.
http://docs.python.org/library/csv.html
E injete os dados usando a ligação Python MySQL. Aqui está um bom tutorial inicial:
http://zetcode.com/databases/mysqlpythontutorial/
Se você já conhece python, será fácil