Modèle macron: output avec des fautes et inconsistences
manueltonneau opened this issue · 3 comments
Je viens de produire de l'output avec le modèle macron et les textes produits ont rarement du sens et contiennent pas mal de fautes d'orthographe. Je connais les limites de GPT-2 mais aimerais en savoir plus sur le tuning des paramètres pour optimiser la qualité de l'output. As-tu des conseils sur la température, la length, le top_p, etc.. à utiliser? Ci-dessous un exemple des phrases produites:
tu peux tenter de récupérer plus de tweets et de réentrainé sur le modèle medium ou le big vu que celui que tu as utilisé c'est un small
Température je laisse entre 0.7 et 0.9 et le reste je laisse par défaut
Ca marche, je vais essayer. Merci pour les infos! :)
tu peux tenter de récupérer plus de tweets et de réentrainé sur le modèle medium ou le big vu que celui que tu as utilisé c'est un small
Température je laisse entre 0.7 et 0.9 et le reste je laisse par défaut
Ah et j'oubliais: sur quelle quantite de tweets avais-tu entrainé le modèle?