O aipo (desde a versão 4, conforme apontado por outra resposta) não suporta Windows (fonte:http://docs.celeryproject.org/en/latest/faq.html#does-celery-support-windows). Mesmo assim, você tem algumas opções:

1) Use task_always_eager=True . Isso executará suas tarefas de forma síncrona – com isso, você pode verificar se seu código está fazendo o que deveria fazer. A execução de tarefas de forma síncrona funciona mesmo no Windows.

Mais informações:http://docs.celeryproject.org/en/latest/userguide/configuration.html#std:setting-task_always_eager

2) Use WSL (Windows Subsystem for Linux).

Mais informações:https://docs.microsoft.com/en-us/windows/wsl/install-win10#install-the-windows-subsystem-for-linux

3) Use o Docker para Windows. Você pode executar o(s) Celery Worker(es) e o Celery Beat dentro do contêiner.

Mais informações:https://docs.docker.com/docker-for-windows/

Pessoalmente, eu uso a opção 1) para teste de unidade e opção 2) para desenvolvimento.