nilsFK/py-privatekonomi

Batcha inserts till databasen

nilsFK opened this issue · 1 comments

I example3.py kör vi inserts en åt gången, vilket blir påtagligt långsamt (utöver det faktum att vi konstant gör selects som kollar om värden existerar). Istället bör man sätta in n stycken åt gången, där n är ett arbiträrt tal som går att ställa in och därmed kunna anpassa efter vad som presterar bäst.

Att sätta in drygt 1000 rader (motsvarande 14 månaders transaktioner) tog ~50 sekunder.

Om vi batchar inserts bör vi får ner tiden till strax under 10 sekunder.

Läs mer:
http://stackoverflow.com/questions/1793169/which-is-faster-multiple-single-inserts-or-one-multiple-row-insert��

Allokerades en hel del objekt SQLAlchemy, gjorde således om logiken och fick ner det till runt ~10 sekunder. När batcharna är på plats kanske man kan räkna med 1-2 sek.