De:http:// /social.msdn.microsoft.com/Forums/en-US/sqlsmoanddmo/thread/533f7044-1109-4b7a-a697-2621f23017d6
Este é um problema conhecido. O uso do SMO contra o .Net 4.0 não foi aprovado ou anunciado pela microsoft.
Existe uma opção sem suporte para fazer isso funcionar (adicione isso ao seu app.config):
<?xml version="1.0" encoding="utf-8" ?>
<configuration>
<startup useLegacyV2RuntimeActivationPolicy="true">
<supportedRuntime version="v4.0"/>
</startup>
</configuration>