Como faço para encontrar e substituir em um CSV que estou importando usando mysql

Primeiro atribua o valor que você lê a uma variável, depois trabalhe nessa variável. Para isso você especifica as colunas da sua tabela de destino, mas uma variável em vez da coluna onde deseja substituir.

load data local infile 'C:/filepath.../All_Data.csv'
replace into table all_data
fields terminated by ','
    enclosed by '"'
    escaped by '"'
lines terminated by "\r\n"
ignore 1 rows
(column_1, column_2, @variable1, @variable2, column_5)
set
    Avg_Daily_Visitors = replace(@variable1,"\N",0),
    pageviews = replace(@variable2,"\N", 0)
;