ceskaexpedice/kramerius

K7 / malá chyba v implementácií paginácie vo funkcií ProcessingIndexFeeder.iterateProcessingWithSort()

Closed this issue · 1 comments

Ahoj,

objavil som malú neodstatočnosť v implementácií ProcessingIndexFeeder.iterateProcessingWithSort(). Pre každý dokument sa Solr query zavolá minimálne dva krát za sebou, aj keď je numFound = 0. Nastavuje sa tam long numFound = Integer.MAX_VALUE;, takže tam stačí to druhé query prehodiť na správne miesto a to prvé zmazať.

Predpokladám ale, že to má úplne minimálny vplyv na beh Kraméria (doslova by som povedal, že žiaden). Narazil som na to preto, že som si všimol v Solr prístupoch opakované query typu:

  • /solr/processing/select?q=type%3Adescription+AND+source%3Auuid%5C%3Afeaeedba-6992-400c-9bc4-cef73c7c3c19&start=0&rows=100&sort=pid+asc&wt=javabin&version=2
  • /solr/processing/select?q=type%3Adescription+AND+source%3Auuid%5C%3Afeaeedba-6992-400c-9bc4-cef73c7c3c19&start=100&rows=100&sort=pid+asc&wt=javabin&version=2
  • /solr/processing/select?q=type%3Adescription+AND+source%3Auuid%5C%3Afeb34846-1623-f13f-96af-37dea728c77d&start=0&rows=100&sort=pid+asc&wt=javabin&version=2
  • /solr/processing/select?q=type%3Adescription+AND+source%3Auuid%5C%3Afeb34846-1623-f13f-96af-37dea728c77d&start=100&rows=100&sort=pid+asc&wt=javabin&version=2
  • /solr/processing/select?q=type%3Adescription+AND+source%3Auuid%5C%3Afec06aac-e6c8-5bba-8412-8587e6a56207&start=0&rows=100&sort=pid+asc&wt=javabin&version=2
  • /solr/processing/select?q=type%3Adescription+AND+source%3Auuid%5C%3Afec06aac-e6c8-5bba-8412-8587e6a56207&start=100&rows=100&sort=pid+asc&wt=javabin&version=2
  • /solr/processing/select?q=type%3Adescription+AND+source%3Auuid%5C%3Aff227fe3-aa25-e309-71eb-a4ed055ea709&start=0&rows=100&sort=pid+asc&wt=javabin&version=2
  • /solr/processing/select?q=type%3Adescription+AND+source%3Auuid%5C%3Aff227fe3-aa25-e309-71eb-a4ed055ea709&start=100&rows=100&sort=pid+asc&wt=javabin&version=2
    Takéto requesty generuje proces indexácie.

Randiak, MZK

Diky za upozorneni, prepisu to na iteraci pres cursor marks a zvetsim velikost davky. Zmenim to v ramci reseni #1077, v pristi verzi.