未来杯语音赛道说话人识别的baseline,用的是传统的UBM-GMM模型。
更新1
训练集里面有的语音可能只有wav
文件头,这样的语音提取特征保存的文件是一个空文件,无法读取。现在我已经在utils.py
文件里面添加了remove
函数,并且在train ubm
之前调用remove
来删除这些空文件。
aishell2
数据集有一些文件只有wav
文件头,大小大概为44k
,请先删除这些文件以免训练出错。
注意,千万不要用完整的aishell2
来训练这个模型,太耗时间了,推荐使用刚开始的那个100说话人的aishell2
的子集来训练,大概需要一天的时间训练ubm
。
更新2
添加了新的特征plp
,在说话人识别里面非常常用。
更新3
把特征提取部分和训练模型部分分成了两个不同的文件,特征提取在preprocess.py
里面,模型训练部分还是在gmm_ubm.py
文件里面。
另外写了一个shell
脚本,只需要修改里面的一些文件路径和训练参数就可以傻瓜式训练模型了,需要修改的地方我都已经注明了。
修改完成之后nohup bash run.sh &
就可以在后台训练打分了。
python
版本推荐3.7.2
相关的库pip install -r requirements.txt
sidekit==1.2.2
numpy
pandas
matplotlib
scipy
tqdm
librosa
如果sidekit
安装了之后无法import
,需要找到sidekit
安装的地方,改一下__init__.py
文件,这个文件里面的38到42行,如果你只训练gmm-ubm
的话,所有的选项都设置为False
。
如果你想使用svm
,请先安装libsvm
库,然后把__init__.py
里面的相应选项设置为True
,最后在sidekit
的libsvm
文件夹里面新建一个链接指向svm
库的libsvm.so.2
。
最新版的sidekit
,神经网络部分已经换成了Pytorch
的backend
,但是1.2.2
还是Theano
,如果你想在sidekit
里面使用神经网络,请安装最新版。
Ps:最新版的sidekit
,也就是1.3.1
我没有测试过,可能有bug
,因为我使用1.2.9
版本的时候发现过bug
,后来回退到了稳定的1.2.2
版本。
另外,sidekit
包还提供了生成DET Curve
的方法,但是可能会失败,具体原因我也没有找到。总之如果大家经过上面的修改之后还是不能导入sidekit
的话,请修改bosaris
文件夹里面的detplot.py
的第39行,matplotlib.use('PDF')
, 可以改成matplotlib.use('Qt5Agg')
。
preprocess.py
文件主要是特征提取已经路径的读取,具体用法看run.sh
脚本。
gmm_ubm.py
这个脚本包含了训练ubm,自适应得到注册人的gmm,以及计算注册的gmm对所有攻击语音的打分的函数。脚本的用法如下。
测试了512 mixture的GMM对于20+delta+double delta的mfcc的拟合,最好分数高达有0.78。
usage: gmm_ubm.py [-h] [--feat_type {mfcc,fb,plp}] [--delta]
[--distribNum DISTRIBNUM] [--num_thread NUM_THREAD]
[--extract] [--train] [--adaptation] [--score]
name
script for GMM-UBM adaptation
positional arguments:
name model name
optional arguments:
-h, --help show this help message and exit
--feat_type {mfcc,fb,plp}
feature type (default : "plp")
--delta using delta information of feature
--distribNum DISTRIBNUM
distribution number (default : 512)
--num_thread NUM_THREAD
threads number (default : 20)
--train train the ubm model
--adaptation adaptation for speaker model
--score compute the eer
utils.py
这个脚本包含了一些文件的预处理例如idmap,ndx和key,关于这些文件的详细信息,请参考sidekit的官方文档sidekit。另外还包含了一个根据比赛的积分规则打分的函数,--score
选项用来打分并将打分的结果保存在result
文件夹里面。
python utils.py -h
usage: utils.py [-h] [--enroll ENROLL] [--dev DEV] [--test TEST]
[--score SCORE]
some utils for preprocess and score
optional arguments:
-h, --help show this help message and exit
--enroll ENROLL enrollment csv path
--dev DEV annotation csv path
--test TEST test csv path
--score SCORE calculate the score
这个项目是打算作为本次比赛的baseline。训练的语音是比赛官方提供的aishell2的子集,包含了100人的语音,开发集也是官方提供的数据。
本次比赛需要验证不同信道的说话人的语音,UBM-GMM对于这种条件适应性较差,当然如果用ZT-norm重新整理得分的话效果应该更好,但是总的来说注册语音的信道和测试信道不匹配的问题还是很严重。
这种条件下,我相信i-vector+PLDA是一个更好的选择来解决这个问题。
如果这个repository对你有帮助麻烦请star:-D。
Email : zengchang.elec@gmail.com