Encontrei este erro quando tentei instalar rails por gem no CentOS 6.3.
Depois de pesquisar um pouco, encontrei uma solução rápida:instalar o pacote ruby-devel.
sudo yum install ruby-devel
Depois disso, tudo funcionou bem.
sudo yum install ruby-devel