Sim, é possível, você precisará ler os dados dos arquivos CSV usando o módulo CSV.

http://docs.python.org/library/csv.html

E injete os dados usando a ligação Python MySQL. Aqui está um bom tutorial inicial:

http://zetcode.com/databases/mysqlpythontutorial/

Se você já conhece python, será fácil