Algo-Boys/SWR2-ASR

Implement Infercene

Closed this issue · 6 comments

JoJoBarthold2 commented
Implement Infercene
JoJoBarthold2 commented

@marvinborner ist das fertig oder lassen wir das

marvinborner commented

Ist basically fertig. Neuer Tokenizer ist nicht implementiert aber bin dran bestimmt

Pherkel commented

Habe es auf dem Notebook implementiert, werden es irgendwann in die codebase hinzufügen.
Evtl. sinnvoll, CTCDecoder mit LM Model zu erstellen

marvinborner commented

Wäre auch interessant, online (streaming) ASR zu implementieren. Also dann, wenn irgendwas mal funktionieren würde natürlich.

https://pytorch.org/audio/main/tutorials/online_asr_tutorial.html

Pherkel commented

Ja, geht scheinbar mit der derzeitigen architektur nicht so gut, die haben da im paper grob erklärt, was man machen müsste:
image

marvinborner commented

Ah I see. Wir könnten es trotzdem (mit größerer Latenz) probieren. Aber ist sowieso nicht so wichtig.