Você tem que transformar esses lats e lons em um sistema de coordenadas mais apropriado.

Como a Terra é uma esfera, você está falando em calcular uma área em coordenadas esféricas.

Os documentos dizem que o MySQL "AREA" função recebe um polígono como entrada. Eu diria que se você quiser área como algo como milhas quadradas, você deve converter suas coordenadas lat/lon em coordenadas de superfície equivalentes (x, y) com as unidades certas (por exemplo, milhas). Em seguida, passe-os para a função AREA.

Este link sugere que alguém teve esse problema e o resolveu.