Você não pode filtrar linhas com LOAD DATA INFILE, então filtre-as pré-processando o arquivo CSV ou carregue os dados em uma tabela temporária e insira as linhas relevantes em sua tabela principal, algo como;
CREATE TEMP TABLE import LIKE my_main_table;
LOAD DATA LOCAL INFILE 'myfile.csv' into import;
INSERT INTO my_main_table SELECT * FROM import
WHERE column_x IN(VALID1, VALID2, VALID3)
