/DeepSpeech-Italian-Model

Tooling for producing Italian model for Common Voice

Primary LanguagePython

DeepSpeech Italian Model

Aggregatore degli strumenti per la generazione di un modello di machine learning per la lingua Italiana del progetto Common Voice. Ci trovi su Telegram con il nostro bot @mozitabot nel gruppo Developers dove dirigiamo e discutiamo lo sviluppo oppure sul forum.

Regole

  • Ticket e pull requests in inglese
  • Readme in Italiano

Requisiti

Python 3.7+

Quick Start

Usa colab:


Open In Colab

oppure:

   # Attiva un virtualenv
   virtualenv -p python3 $HOME/tmp/deepspeech-venv/
   source $HOME/tmp/deepspeech-venv/bin/activate

   # Installa DeepSpeech
   pip3 install deepspeech==0.9.3

   # Scarica e scompatta i file per il modello italiano (verifica l'ultima versione rilasciata!)
   curl -LO https://github.com/MozillaItalia/DeepSpeech-Italian-Model/releases/download/2020.08.07/model_tensorflow_it.tar.xz
   tar xvf model_tensorflow_it.tar.xz

   # Oppure utilizza il modello italiano con transfer learning da quello inglese (verifica l'ultima versione rilasciata!)
   curl -LO https://github.com/MozillaItalia/DeepSpeech-Italian-Model/releases/download/2020.08.07/transfer_model_tensorflow_it.tar.xz
   tar xvf transfer_model_tensorflow_it.tar.xz
   
   # estrai un sample a caso dal dataset cv_tiny
   wget -c https://github.com/MozillaItalia/DeepSpeech-Italian-Model/files/4610711/cv-it_tiny.tar.gz -O - | tar -xz common_voice_it_19574474.wav

   # Trascrivi (audio MONO, formato WAV e campionato a 16000Hz)
   deepspeech --model output_graph.pbmm --scorer scorer --audio common_voice_it_19574474.wav

Differenze del modello italiano puro e con transfer learning

Da 08/2020 rilasciamo il modello in due versioni, puro ovvero solo dataset di lingua italiana (specificato nel release) e la versione con transfer learning.
La seconda versione include il transfer learning dal modello di lingua ufficiale rilasciato da Mozilla, che include altri dataset oltre a quello di Common Voice superando le oltre 7000 ore di materiale. Questo modello si è dimostrato molto piú affidabile nel riconoscimento viste le poche ore di lingua italiana che disponiamo al momento.

Sviluppo

Corpora per il modello del linguaggio

Nella cartella MITADS sono presenti tutti gli script che permettono la generazione del corpus testuale MITADS. Per maggiori informazioni fare riferimento al README relativo.

Addestramento del modello

Fare riferimento al README nella cartella DeepSpeech per la documentazione necessaria per creare l'immagine Docker utilizzata per addestrare il modello acustico e del linguaggio.

Generare il modello con COLAB Open In Colab

Fare riferimento al README in notebooks.

Come programmare con DeepSpeech

Fare riferimento al nostro wiki in costruzione che contiene link e altro materiale.

Risorse