Sua chamada de rede deve ficar assim:
config.vm.network :forwarded_port, guest: [db port x, e.g. 3306 for MySQL], host: [unused host port y]
Em sua configuração do Django, deixe o host vazio (o padrão é localhost) e especifique a mesma porta y acima. O VirtualBox encaminhará sua solicitação para localhost:y para [guest]:x.
