Quando se trata de nomes de entidades e Postgresql (Tabelas, Colunas, etc.) com letras MAIÚSCULAS, você precisa "escapar" a palavra colocando-a em "". Consulte a documentação sobre este assunto em particular. Então, seu exemplo seria escrito assim:
String stm = "DELETE FROM hostdetails WHERE \"MAC\" = 'kzhdf'";
Em uma nota lateral, considerando que você está usando instruções preparadas, você não deve definir o valor diretamente em sua instrução SQL.
con = DriverManager.getConnection(url, user, password);
String stm = "DELETE FROM hostdetails WHERE \"MAC\" = ?";
pst = con.prepareStatement(stm);
pst.setString(1, "kzhdf");
pst.executeUpdate();