Aparentemente, os colchetes de fechamento não precisam ser escapados:
SELECT
PATINDEX('%[[]SQLSERV].DBNAME.DBO.[[][0-9a-zA-Z _-]%','ert[SQLSERV].DBNAME.DBO.[Table name]asdadsf')
o retorno acima 4.
Além disso, não podemos personalizar um caractere de escape acoplado a PATINDEX como podemos fazer com LIKE.