1º: Você pode adicionar o ID exclusivo do usuário na tabela de endereços.

2º: E também mantenha a chave primária auto_increment na tabela de endereços, porque significa que quando você vai editar o endereço significa que você precisa atualizar o correto, então é útil no futuro, então mantenha uma coluna para isso.