Eu tive o mesmo problema e passando auth_plugin='mysql_native_password' não funcionou, porque eu instalei acidentalmente o mysql-connector em vez de mysql-connector-python (via pip3). Só deixando isso aqui caso ajude alguém.