Receio que não haja crtdbg.h na distribuição MinGW. Acho que no Windows, esse cabeçalho vem com o compilador da Microsoft. Acredito que você também poderia usar o Cygwin em vez do compilador da Microsoft, já que compilar o MySql no Windows só é possível com o Cygwin ou o compilador da Microsoft (o MinGW não é suportado), então, em teoria, o Cygwin deve ser capaz de compilar seu programa.
Você também pode obter o compilador da Microsoft gratuitamente instalando o Windows SDK.
mysqlclient.lib deve ser uma biblioteca estática e libmysql.lib/libmysql.dll é uma biblioteca dinâmica.
OBSERVAÇÃO: Se você deseja usar a biblioteca estática com o compilador da microsoft, ela deve ser compilada com o mesmo compilador (e a mesma versão também) que você programa. Você pode encontrar mais informações sobre como compilar no Windows aqui . Veja a última seção Compilando Clientes MySQL no Microsoft Windows
ATUALIZAÇÃO :Usando o compilador da Microsoft, você pode compilar seu código usando o seguinte comando:
cl mysource.c /IC:\Path\To\MySql\Include\Directory /link /LIBPATH:C:\Path\To\MySql\Lib\Directory /DEFAULTLIB:libmysql
