Eu tenho o mesmo problema no meu caso foi lib dentro de .rvm/usr/lib que foi levado para esta compilação em vez de lib do sistema. Não sei por que isso acontece e por que não funciona (no meu caso no Ubuntu 10.04 x86_64), mas para resolvê-lo apenas:
mv ~/.rvm/usr/lib ~/.rvm/usr/lib_rvm
por um tempo ou para sempre;)
Se alguém investigar por que isso acontece, eu agradeço. Atenciosamente.