Para recuperar números de telefone, consulte Phone.CONTENT_URI e inclua Phone.NUMBER em sua projeção.

Para recuperar endereços de e-mail, consulte Email.CONTENT_URI e peça Email.DATA em sua projeção.

Qualquer um deles também permitirá que você inclua Contacts.DISPLAY_NAME em sua projeção também, pois algumas colunas comuns como essa são automaticamente unidas.

Embora eu não tenha recuperado esses dados por ID antes, acredito que sua "cláusula where" seria Phone.CONTACT_ID + " = " + contactId e Email.CONTACT_ID + " = " + contactId respectivamente. Consulte Como obter o número de telefone dos contatos no Android para saber mais.