Veja a apresentação Introdução ao SQL Server Express Local DB Runtime - oferece uma ótima visão geral.

O grande benefício do LocalDB é que ele é o SQL Server real - é uma versão especial do SQL Server Express, mas basicamente suporta tudo o que o SQL Server "real" tem - tipos de dados espaciais, procedimentos armazenados - você escolhe.

O SQL Server Compact Edition, por outro lado, é uma versão muito reduzida - muitos recursos e tipos de dados não são suportados. É menor e mais "ágil" - mas não tem muita força.

Eu pessoalmente escolheria o SQL Server Express com o tempo de execução do LocalDB em vez do SQL Server CE 4 - a menos que você precise especificamente do tamanho minúsculo do SQL Server CE (por exemplo, em um dispositivo móvel).

Veja também uma comparação entre SQL Server CE 3.5, CE 4.0, SQL Server Express 2008 R2 e SQL Server 2012 Express LocalDB no excelente Everything SQL Server Compact do ErikEJ local na rede Internet.