GPT-2 from scratch en français ?
valentinmace opened this issue · 4 comments
Salut et merci pour ton projet,
Si j'ai bien compris tu as pris un GPT-2 que tu as entrainé from scratch sur du français, puis que tu proposes de fine-tuner sur un corpus au choix.
J'aimerais savoir comment tu as entrainé from scratch ton modèle, avec quel matériel (j'ai qu'une 2080ti), sur quel corpus et pendant combien de temps ?
Mon but ce serait d'avoir un bon modèle from scratch en français et de le fine tuner sur mon corpus pour faire de la génération. Sauf que personne n'a publié de gros GPT-2 en français il me semble et pour les petits modèles la génération est pas de bonne qualité.
Merci
hello, non c'est juste un modèle pré-entraîné fine-tuné sur du français avec une V100 pendant quelques heures.
Il est possible de le faire from scratch avant un gros corpus un français de +100 Go, mais avec une 2080 ti ça prendrait des semaines je pense
D'accord, donc le pré-entrainement se fait sur de l'anglais si je comprends bien, il y a un intérêt à faire ça ? Et si oui, comment gérer le changement de vocabulaire ?
Merci bien
non il y a pas de pré-entrainement, c'est juste le modèle gpt2-small déjà pré-entraîné. Tu peux regarder la lib gpt-2-simple pour ça.
une discussion sur gpt2 en français huggingface/transformers#1407
Merci !