Você não usa SQLAlchemy em vez de MySQLdb - você usa SQLAlchemy para acessar algo como MySQLdb, oursql (outro driver MySQL que ouvi dizer que é melhor e tem melhor desempenho), o módulo sqlite3, psycopg2 ou qualquer outro driver de banco de dados que você esteja usando.

Um ORM (como SQLAlchemy) ajuda a abstrair os detalhes do banco de dados que você está usando. Isso permite que você evite os detalhes do sistema de banco de dados que você está usando, evitando a possibilidade de erros algumas vezes (e introduzindo a possibilidade de outras) e tornando a portabilidade trivial (pelo menos em teoria).