SQLAlchemy é um ORM, psycopg2 é um driver de banco de dados. Estas são coisas completamente diferentes:SQLAlchemy gera Instruções SQL e psycopg2 enviam instruções SQL para o banco de dados. SQLAlchemy depende do psycopg2 ou de outros drivers de banco de dados para se comunicar com o banco de dados!

Como uma camada de software bastante complexa, o SQLAlchemy adiciona alguma sobrecarga, mas também é um grande impulso para a velocidade de desenvolvimento, pelo menos depois que você aprendeu a biblioteca. SQLAlchemy é uma biblioteca excelente e vai te ensinar todo o conceito ORM, mas se você não quer gerar instruções SQL para começar, então você não quer SQLAlchemy.