O aipo (desde a versão 4, conforme apontado por outra resposta) não suporta Windows (fonte:http://docs.celeryproject.org/en/latest/faq.html#does-celery-support-windows). Mesmo assim, você tem algumas opções:
1) Use
task_always_eager=True
. Isso executará suas tarefas de forma síncrona – com isso, você pode verificar se seu código está fazendo o que deveria fazer. A execução de tarefas de forma síncrona funciona mesmo no Windows. Mais informações:http://docs.celeryproject.org/en/latest/userguide/configuration.html#std:setting-task_always_eager
2) Use WSL (Windows Subsystem for Linux).
Mais informações:https://docs.microsoft.com/en-us/windows/wsl/install-win10#install-the-windows-subsystem-for-linux
3) Use o Docker para Windows. Você pode executar o(s) Celery Worker(es) e o Celery Beat dentro do contêiner.
Mais informações:https://docs.docker.com/docker-for-windows/
Pessoalmente, eu uso a opção 1) para teste de unidade e opção 2) para desenvolvimento.