Acabei de encontrar um jeito! Era mais simples do que eu pensava! Sem escrever nenhum TestRunner personalizado etc.

A resposta está em documentos pytest-django no Capítulo 5 -> Exemplos -> Use um banco de dados somente leitura.

Confira outros exemplos, que são realmente úteis em tais situações.

Obrigado!