Depois de passar horas tentando todos os tipos de configurações nos arquivos de configuração e reiniciando o mysql dezenas de vezes, cheguei a isso que parece resolver o problema (não consegui encontrar isso em nenhuma documentação em nenhum lugar)
MySQLdb.connect(server, username, password, database, local_infile = 1)
