Eu enfrento o mesmo problema que você. Há cerca de 2-3 segundos de atraso ao processar o primeiro trabalho.
Depois de pesquisar, descobri que a fila de laravel workerdefault 3 segundos de sono.
O que significa que o primeiro trabalho atrasará 3 segundos na pior das hipóteses.
Para resolvê-lo, basta especificar --sleep=0 ao executar o trabalhador. Espero que ajude.
php artisan queue:worker --sleep=0
