Se você estiver usando o pacote PyPi django-celery-beat parece que ele instala a versão mais recente do pacote necessário aipo em vez de instalar uma versão compatível (no momento em que estiver postando isso, 25 de maio de 2021, seria v5.1.0 ), que parece ter problemas de compatibilidade com django-celery-beat versão 2.2.0 (o mais recente), bem como o sistema operacional Windows.
Eu sugiro que você tente
pip uninstall celery
pip install celery==5.0.5
