como obter valor da tabela mysql ordenada por outra tabela?

Além de ter a coluna ReferenceType na tabela ref_types, você também precisa de uma coluna Reference_ID que se refira ao ID real na tabela correspondente como chave estrangeira .

//ref_types table
ID Article_ID ReferenceType Reference_ID
1  1          book          1
2  1          article       1
3  1          article       2
4  1          book          2

Então, você pode evitar um loop WHILE e deixar o MySQL fazer o trabalho para você com JOINs:

SELECT CONCAT('record ', rt.ID, ': ',
  COALESCE(ar.Article_Title, tr.Thesis_Title, br.Book_Title))
FROM ref_types rt
LEFT JOIN article_refs ar
  ON rt.ReferenceType = 'article' AND ar.ID = rt.Reference_ID
LEFT JOIN book_refs br
  ON rt.ReferenceType = 'book' AND br.ID = rt.Reference_ID
LEFT JOIN thesis_refs tr 
  ON rt.ReferenceType = 'thesis' AND tr.ID = rt.Reference_ID

Dá o resultado:

record 1: book1
record 2: article1
record 3: article2
record 4: book2