Use o
BINARY palavra-chave, que força REGEXP para corresponder a string como uma string binária, o que é feito com distinção entre maiúsculas e minúsculas. SELECT 'a' REGEXP 'A', 'a' REGEXP BINARY 'A';
Embora isso não seja explicitamente declarado nos documentos (que você pode fazer com uma string regular), na minha experiência funciona como esperado.
