Você está tentando enfileirar o método de envio da instância do objeto de email e o RQ não pode enfileirar métodos de instância. Se você olhar para a documentação na parte inferior da página, ela menciona isso:
http://python-rq.org/docs/
Tente definir outro método e enviar o e-mail dessa maneira. Tal como...
from flask.ext.mail import Mail,Message
from rq import Queue
mail = Mail()
q = Queue()
def queue_mail(msg):
mail.send(msg)
@mod.route('/test')
def m11():
msg = Message("Signup Successfull",
recipients=['[email protected]'])
msg.body = "Hello there, Welcome!"
q.enqueue(queue_mail, msg)
return 'done'
