Para o Amazon linux 2, você deve poder instalá-lo com
yum . Assim, você pode ter em seu .ebextensions um arquivo chamado, por exemplo 01_packages.config com o conteúdo:packages:
yum:
MySQL-python: []
Você pode adicionar mais dependências do yum se precisar de mais.