Oracle
 sql >> Base de Dados >  >> RDS >> Oracle

Como acelerar o carregamento de dados do oracle sql para pandas df


Configurando o valor adequado para cur.arraysize pode ajudar para ajustar o desempenho de busca .Você precisa determinar o valor mais adequado para isso. O valor padrão é 100 . Um código com tamanhos de array diferentes pode ser executado para determinar esse valor, como
arr=[100,1000,10000,100000,1000000]
for size in arr:
        try:
            cur.prefetchrows = 0
            cur.arraysize = size
            start = datetime.now()
            cur.execute("SELECT * FROM mytable").fetchall()
            elapsed = datetime.now() - start
            print("Process duration for arraysize ", size," is ", elapsed, " seconds")
        except Exception as err:
            print("Memory Error ", err," for arraysize ", size) 

e, em seguida, defina como cur.arraysize =10000 antes de chamar db_select do seu código original