A diferença básica entre uma configuração de desenvolvimento/teste para Amazon RDS e uma configuração de produção é que a configuração de produção tem Multi-AZ ativado. Isso significa que há um banco de dados secundário provisionado em caso de falha do banco de dados primário ou da zona de disponibilidade em que o banco de dados está sendo executado.

Essas falhas são raras e, considerando que você está preocupado com os custos e não está fornecendo um aplicativo de nível comercial, o uso da configuração Dev/Test seria aceitável.

Observe que a intenção do AWS Free Tier é "ganhar experiência prática e gratuita com a plataforma, os produtos e os serviços da AWS" . Não se destina a ser uma forma de hospedar aplicativos gratuitamente.