Como o caractere \ é usado pelo próprio operador LIKE, você precisa dobrá-lo quando o usar para escapar de outro caractere como as aspas duplas.
veja aqui
SELECT * FROM table_name WHERE column_name LIKE "%\\"%";
deve funcionar para você.
como mudará as aspas duplas para aspas simples para incluir o literal
SELECT * FROM table_name WHERE column_name LIKE '%"%';
como você postou aqui
