Achei a solução.... Apesar de não ser algo que vi documentado em nenhum lugar.....
Você pode inserir dados binários diretamente escrevendo os bytes convertidos em HEX e precedidos por 0x
Por exemplo:
INSERT INTO my_table VALUES (1,0x19c0300dc90e7cedf64703ed8ae8683b,2);