Você precisa usar uma barra invertida para escapar do sublinhado. Altere a consulta de exemplo para o seguinte:
SELECT table_name, column_name FROM information_schema.columns
WHERE column_name LIKE '%\_by'
SELECT table_name, column_name FROM information_schema.columns
WHERE column_name LIKE '%\_by'
Oracle como solução alternativa de tabelas mutantes
Como substituir valores nulos por desconhecidos na instrução Select no SQL Server - SQL Server / TSQL Tutorial Part 111
Lidando com consultas de longa duração do MySQL
Como lidar com vários objetos usando o Object Explorer Detail Windows no SSMS - SQL Server/TSQL Tutorial Parte 22