ceskaexpedice/kramerius

K7 / WARNING: no page type for uuid:XXXX

mduda100871 opened this issue · 3 comments

mduda100871 commented

Zdravím,

při kompletním (re)generováni search indexu z processing indexu dochází poměrně často k chybě:

migrace-01

process_692_err.txt.zip

která způsobuje přerušení indexace v případě, že nenastavím proces tak, aby přeskakoval nekonsistence.

Což také není úplně optimální volba u těchto masivních akcí nad celým indexem, protože v té záplavě logů mi pak případně uniknou další chyby, které mohou být spíše ojedinělé, nicméně by bylo dobře je odhalit.

Což ztěžuje fakt, že proces nastavený na přeskakování končí jako korektně provedený - tedy zelený, takže nic neindikuje potenciální problém.

Co přesně výše uvedená chyba znamená, a jak ji případně eliminovat? Je to chyba ve vstupních datech/FOXML?

MD

mduda100871 commented

Tak jsem to pro jistotu ještě ověřil a je pravda, že ty výše uvedené warningy ten proces opravdu nezastaví, pokud tam jsou výhradně jen ty.

Vzhledem k tomu, že jsem právě prováděl masivní reindexaci podle modelu, tak jsem dal přeskakovat, protože když jsem na celou dávku nedal přeskakovat, tak mi to padalo a nebyl jsem schopen pokračovat dál. Ale je pravda, že tam vždy figuroval i nějaký další problém, ale tím jak to bylo všechno pohromadě, tak jsem správně nerozklíčoval, co to zastavení vlastně způsobí.

Je to takové trochu zavádějící ty výstupy procesů. Když se to spustí na malý počet dat, je to asi rozklíčovatelné, ale u velkých dávek je to dost těžkopádné na vyhodnocení, a vlastně vůbec i hledání dalších chyb v té změti warningů je dost výzva.

Bavil jsem se o tom s @pavel-stastny než jsem sepsal tuto issue, tak počkám, zda-li k tomu nebude mít nějaké poznámky a případně to zavřu.

MD

pavel-stastny commented

@mduda100871 @honza-rychtar @rzeh4n Možná bychom u některých chyb v indexeru mohli zavést číselník a pak odkazovat na github aby to bylo hned zřejmé. Něco na tento způsob:
https://github.com/ceskaexpedice/kramerius/wiki/Page-Type-%E2%80%90-indexer-error-1.

Ale to bych bral až jako návrh na rozšíření.

  • 👍1