Altere o SQL que o phpmyadmin executará para isso:
LOAD DATA INFILE '*FILEPATH*'
INTO TABLE *table*
(X, Y);
(Você só terá que mudar a última linha) E seu csv deve se parecer com
-105.057578,39.785603
-105.038646,39.771132
-105.013045,39.771727
-105.045721,39.762055
-105.031777,39.76206
-105.046015,39.72835
A última linha diz ao MySQL para procurar apenas essas duas colunas de dados e inserir null para quaisquer outras colunas. O valor NULL será incrementado automaticamente conforme o esperado.
