Contanto que o arquivo seja analisado pelo PHP, não há com o que se preocupar, e um não é mais seguro que o outro. No entanto, há praticidade envolvida também:se você escreve seu mysql_connect em mais de um lugar e decidiu mover seu banco de dados para outro host, ou decidiu alterar a senha, ou se descobriu que é absolutamente inseguro para conectar usando a conta root (mude isso;)), é mais fácil ter a instrução connect em um só lugar.

Além disso, se o PHP não estiver analisando seu arquivo, é melhor ter esses arquivos críticos fora do webroot, nem mesmo acessível pelo Apache. Essa é a forma mais segura.