Mysql
 sql >> Base de Dados >  >> RDS >> Mysql

Python Scrapy - preencha start_urls do mysql


Uma abordagem melhor é substituir os start_requests método.

Isso pode consultar seu banco de dados, assim como populate_start_urls e retorne uma sequência de Solicitação objetos.

Você só precisa renomear seu populate_start_urls método para start_requests e modifique as seguintes linhas:
for row in rows:
    yield self.make_requests_from_url(row[0])