Não há opção para isso no MariaDB e no MySQL. Me deparei com o mesmo problema que você há alguns meses, pesquisei muito e finalmente resolvi parcialmente criando uma área de armazenamento especial no NAS para os conjuntos de dados temporários.
Crie uma pasta em seu NAS ou uma partição em um HDD interno, ela será por definição limitada em tamanho, então monte-a, e no mysql ini, atribua o armazenamento temporário a esta unidade:(escolha entre windows/linux)
tmpdir="mnt/DBtmp/"
tmpdir="T:\"
O serviço mysql deve ser reiniciado após essa alteração.
Com essa abordagem, quando a unidade estiver cheia, você ainda terá "problemas estranhos" com consultas em disco, mas os outros problemas desaparecerão.
