alexplusde/search_it_with_gpt

Anstelle von Plaintext besseren Umgang mit HTML und dessen Inhaltsstruktur finden

alxndr-w opened this issue · 0 comments

Aktuell wird möglichst alles HTML und Whitspaces entfernt, um nicht in die Fehlermeldung {"response_data": "ResponseTooLargeError"} zu geraten. Dabei gehen jedoch auch strukturgebende Elemente wie Überschriften und Listen verloren.

Es sollte einen besseren Weg geben der in Markdown-ähnlicher Manier oder sogar in Markdown konvertiert den Inhalt einer Website zurückgibt.