Tente aumentar o número padrão de threads de E/S se estiver usando o mecanismo InnoDB. O padrão do RDS é um mísero 4. Você precisará reiniciar a instância de banco de dados para que o Parameter Group use os novos valores, pois eles não são "dinâmicos" (requer uma reinicialização).
show variables like 'innodb_%io_threads';
+-------------------------+-------+
| Variable_name | Value |
+-------------------------+-------+
| innodb_read_io_threads | 4 |
| innodb_write_io_threads | 4 |
+-------------------------+-------+