Comparado com o quê? Para quais consultas? claro que tudo depende no que você está fazendo. Para algumas consultas, o impacto no desempenho será insignificante para outras maciças.

Há um monte de preocupações que você deve ter em mente:

• Se você estiver juntando 2 tabelas do DB1 para 2 tabelas do DB2, e as tabelas forem grandes, as coisas podem ficar feias. No final do dia, as consultas serão executadas em algum lugar. O banco de dados terá que puxar todos os resultados para o banco de dados principal e manter a integridade transacional no banco de dados principal. Isso pode ser muito caro.
• Se você começar a executar transações distribuídas, pode ficar feio , rápido.
• Ao juntar coisas entre servidores, seus índices no servidor remoto podem se tornar inúteis. Todos os dados precisam ser movidos para algum lugar para as junções.
• Os links de servidores vinculados podem ficar inativos em momentos inesperados e levar a bugs difíceis de diagnosticar.

No passado, encontrei situações em que era algumas ordens de magnitude mais rápido mover os dados remotos localmente e indexá-los antes de juntá-los.