É porque você usa INNO DB,
Um truque simples:
set session old_alter_table=1;
ALTER IGNORE TABLE `user_server`
ADD UNIQUE INDEX (`user_id`, `server_id`);
set session old_alter_table=0;
Isso faz o trabalho
set session old_alter_table=1;
ALTER IGNORE TABLE `user_server`
ADD UNIQUE INDEX (`user_id`, `server_id`);
set session old_alter_table=0;