Django:IntegrityError durante muitos para muitos add()

O erro pode ser reproduzido?

Sim, vamos usar o famoso Publication e Article modelos de documentos Django . Então, vamos criar alguns tópicos.

import threading
import random

def populate():

    for i in range(100):
        Article.objects.create(headline = 'headline{0}'.format(i))
        Publication.objects.create(title = 'title{0}'.format(i))

    print 'created objects'


class MyThread(threading.Thread):

    def run(self):
        for q in range(1,100):
            for i in range(1,5):
                pub = Publication.objects.all()[random.randint(1,2)]
                for j in range(1,5):
                    article = Article.objects.all()[random.randint(1,15)]
                    pub.article_set.add(article)

            print self.name


Article.objects.all().delete()
Publication.objects.all().delete()
populate()
thrd1 = MyThread()
thrd2 = MyThread()
thrd3 = MyThread()

thrd1.start()
thrd2.start()
thrd3.start()

Você certamente verá violações de restrição de chave exclusivas do tipo relatado no relatório de bug . Se você não os vir, tente aumentar o número de threads ou iterações.

Existe alguma solução?

Sim. Use through modelos e get_or_create . Aqui está o models.py adaptado do exemplo nos documentos do django.

class Publication(models.Model):
    title = models.CharField(max_length=30)

    def __str__(self):              # __unicode__ on Python 2
        return self.title

    class Meta:
        ordering = ('title',)

class Article(models.Model):
    headline = models.CharField(max_length=100)
    publications = models.ManyToManyField(Publication, through='ArticlePublication')

    def __str__(self):              # __unicode__ on Python 2
        return self.headline

    class Meta:
        ordering = ('headline',)

class ArticlePublication(models.Model):
    article = models.ForeignKey('Article', on_delete=models.CASCADE)
    publication = models.ForeignKey('Publication', on_delete=models.CASCADE)
    class Meta:
        unique_together = ('article','publication')

Aqui está a nova classe de encadeamento que é uma modificação da anterior.

class MyThread2(threading.Thread):

    def run(self):
        for q in range(1,100):
            for i in range(1,5):
                pub = Publication.objects.all()[random.randint(1,2)]
                for j in range(1,5):
                    article = Article.objects.all()[random.randint(1,15)]
                    ap , c = ArticlePublication.objects.get_or_create(article=article, publication=pub)
            print 'Get  or create', self.name

Você verá que a exceção não aparece mais. Sinta-se à vontade para aumentar o número de iterações. Só subi para 1000 com get_or_create não lançou a exceção. No entanto, add() geralmente lançava uma exceção com em 20 iterações.

Por que isso funciona?

Porque get_or_create é atômico.

Atualização: Obrigado @louis por apontar que o modelo passante pode de fato ser eliminado. Assim, o get_or_create em MyThread2 pode ser alterado como.

ap , c = article.publications.through.objects.get_or_create(
            article=article, publication=pub)