Eu odeio soar como um velho acadêmico mal-humorado, mas a teoria realmente é o que você precisa estudar, se você está determinado a construir seu próprio RDBMS. Os detalhes de implementação são realmente apenas, erh, detalhes de implementação. Além dos livros didáticos, você também pode estudar trabalhos de pesquisa, que tendem a cobrir o assunto com mais detalhes.

Ao começar a implementar seu mecanismo de banco de dados, você pode examinar as implementações de código aberto existentes, mas espera que a curva de aprendizado seja íngreme. Como você já descobriu, esses projetos tendem a ser bastante complexos. Quando você tiver perguntas concretas para esses projetos, tente publicá-las nas listas de discussão relevantes. Quando você tiver dúvidas concretas sobre sua própria implementação, poste-as aqui :)