Para usar vários comandos SET com LOAD DATA INFILE você só precisa especificar SET uma vez e separar cada definição de variável com vírgulas, por exemplo.
LOAD DATA INFILE 'my_file' INTO TABLE 'my_table' (column1, @date1, @date2)
SET column2 = STR_TO_DATE(@date1, '%d/%m/%Y %H:%i:%s'),
column3 = STR_TO_DATE(@date2, '%d/%m/%Y %H:%i:%s');