Correto. COUNT(*) são todas as linhas na tabela, COUNT(Expression) é onde a expressão é apenas não nula.

Se todas as colunas forem NULL (o que indica que você não tem uma chave primária, então isso não deve acontecer em um banco de dados normalizado) COUNT(*) ainda retorna todas as linhas inseridas. Apenas não faça isso.

Você pode pensar no símbolo * como significando "na tabela" e não "em qualquer coluna".

Isso é abordado no Manual de referência do MySQL .