Parece que você precisa escrever uma biblioteca compartilhada nativa em C ou C++ para fazer isso. Dê uma olhada em http://dev.mysql.com/doc/refman/5.6/en/create-function-udf.html