Você pode usar a parte SET de LOAD DATA INFILE e não precisa do material de escape 0x:
1, 1, 123456FF
2, 1, aabbcc
3, 1, ddeeff
E então você atribui a coluna a uma variável e, em seguida, define a coluna para a versão UNHEXed dessa variável:
LOAD DATA INFILE 'file' INTO TABLE `table` (column1, column2, @var1)
SET column3 = UNHEX(@var1)
