Batcha inserts till databasen
nilsFK opened this issue · 1 comments
nilsFK commented
I example3.py kör vi inserts en åt gången, vilket blir påtagligt långsamt (utöver det faktum att vi konstant gör selects som kollar om värden existerar). Istället bör man sätta in n
stycken åt gången, där n
är ett arbiträrt tal som går att ställa in och därmed kunna anpassa efter vad som presterar bäst.
Att sätta in drygt 1000 rader (motsvarande 14 månaders transaktioner) tog ~50 sekunder.
Om vi batchar inserts bör vi får ner tiden till strax under 10 sekunder.
nilsFK commented
Allokerades en hel del objekt SQLAlchemy, gjorde således om logiken och fick ner det till runt ~10 sekunder. När batcharna är på plats kanske man kan räkna med 1-2 sek.