Collation é usado para classificar strings (texto), por exemplo, por ordem alfabética, se importa ou não maiúsculas de minúsculas, como lidar com letras que têm acentos etc. COLLATE "C" diz ao banco de dados para não usar collation. Pode-se usar isso se eles estivessem projetando um banco de dados para armazenar dados em diferentes idiomas. Tecnicamente, COLLATE "C" usará a ordem de bytes para conduzir comparações de texto.

A primeira resposta em https://dba.stackexchange.com/questions/94887/what-is-the-impact-of-lc-ctype-on-a-postgresql-database fornece um bom exemplo das diferenças entre usar COLLATE "C" vs. COLLATE "fr_FR" que usa a localização francesa.