OpenTransformer

This is a speech-transformer model for end-to-end speech recognition.

Requirements

Pytorch >= 1.2.0

Torchaudio >= 0.3.0

Function

Speech Transformer
Label Smoothing
Share weights of Embedding with output softmax layer
Data Augmentation(SpecAugument)
Extract Fbank features in a online funshion
Visualization based Tensorboard
Batch Beam Search with Length Penalty
Multiple Optimizers and Schedulers
Multiple Activation Functions in FFN
Multi GPU (dp, ddp)
Mixed Precision Training based apex

To Do

LM Shollow Fusion

Prepare

vocab

# character idx
<PAD> 0
<S/E> 1
<UNK> 2
我 3
你 4
...

character

BAC009S0764W0139 国 家 统 计 局 的 数 据 显 示
BAC009S0764W0140 其 中 广 州 深 圳 甚 至 出 现 了 多 个 日 光 盘
BAC009S0764W0141 零 三 年 到 去 年
BAC009S0764W0142 市 场 基 数 已 不 可 同 日 而 语
BAC009S0764W0143 在 市 场 整 体 从 高 速 增 长 进 入 中 高 速 增 长 区 间 的 同 时
BAC009S0764W0144 一 线 城 市 在 价 格 较 高 的 基 础 上 整 体 回 升 并 领 涨 全 国
BAC009S0764W0145 绝 大 部 分 三 线 城 市 房 价 仍 然 下 降
BAC009S0764W0146 一 线 楼 市 成 交 量 激 增
BAC009S0764W0147 三 四 线 城 市 依 然 冷 清

if you want to compute features online, please make sure you have a wav.scp file.

# wav.scp
# id path
BAC009S0764W0139 /data/aishell/wav/BAC009S0764W0139.wav

Train

Single GPU

python rnn.py -c egs/aishell/conf/transformer.yaml

Multi GPU Training based DataParallel

python run.py -c egs/aishell/transformer.yaml -p dp -n 2

Multi GPU Training based distributeddataparallel

OMP_NUM_THREADS=1 python -m torch.distributed.launch --nproc_per_node=2 run.py -c egs/aishell/transformer.yaml -p ddp -n 2

Average the parameters of the last N epochs

python tools/average.py you_model_expdir 50 59    #   average the models from 50-th epoch to 59-th epoch

Eval

python eval.py -m model.pt

Experiments

Our Model can achieve a CER of 7.1% without CMVN, any external LM and joint-CTC training on AISHELL-1, which is better than 7.5% of Chain Model in Kaldi.

Acknowledge

OpenTransformer refer to ESPNET.

lyjzsyzlt/OpenTransformer