Você está certo, você não deve armazenar os contatos em uma string. Em vez disso, use outra tabela que contenha as informações do usuário. A nova tabela deve ter a seguinte aparência:
Table: user_contacts
| user_id | contact_id | confirm |
-------------------------------------------
| your data here... |
Então, quando você precisar da sua lista de contatos, você pode simplesmente realizar outra consulta:
SELECT * FROM `user_contacts`
JOIN `users` ON `users`.`id` = `user_contatcs`.`user_id`
WHERE `users`.`id` = $id
ORDER BY `users`.`name`;
Ou, no entanto, você precisa encomendá-lo.