Os bancos de dados relacionais impõem o ACID. Assim, você terá armazenamentos de dados orientados a transações baseados em esquema. É comprovado e adequado para 99% das aplicações do mundo real. Você pode fazer praticamente qualquer coisa com bancos de dados relacionais.

Mas há limitações de velocidade e dimensionamento quando se trata de armazenamentos de dados massivos de alta disponibilidade. Por exemplo, Google e Amazon têm terabytes de dados armazenados em grandes centros de dados. A consulta e a inserção não funcionam nesses cenários devido à natureza de bloqueio/esquema/transação dos RDBMs. Essa é a razão pela qual eles implementaram seus próprios bancos de dados (na verdade, armazenamentos de valores-chave) para ganho de desempenho e escalabilidade maciços.

Os bancos de dados NoSQL existem há muito tempo - apenas o termo é novo. Alguns exemplos são bancos de dados de gráficos, objetos, colunas, XML e documentos.

Para sua segunda pergunta: Posso usar os dois no mesmo site?

Por que não? Ambos servem a propósitos diferentes certo?