Talvez tente com o JTS Topology Suite e investigue seu polígono:



Eu não acho que $geoIntersects suporta polígono de auto-interseção.