Depois de enviar um e-mail
$mail->Send()
, execute isso:$mail->ClearAllRecipients();
no seu loop while.
Então, sua estrutura básica de loop while se parece com isso:
while($row = mysql_fetch_assoc($p_address)){
$mail->AddAddress($row['email_address']);
$mail->AddAttachment("fpdf/pdf_reports/document/".$ctrl_no.".pdf");
$mail->send();
$mail->ClearAllRecipients();
$mail->ClearAttachments(); //Remove all attachements
}