脚本宝典收集整理的这篇文章主要介绍了kaldi工具搭建语音识别系统——数据处理,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
Kaldi(http://kaldi-asr.org/doc/)是一个语音识别工具。使用 C++ 开发,基于 Apache 许可证。目的是为语音识别研究者提供。 Kaldi 的目标和受众范围与 HTK 相似。目标是用 C++ 编写的现代灵活的代码,易于修改和扩展。重要功能包括:
kaldi是一个对新手极其不友好的工具,首先表现在它的官方文档很硬核,全英文。网上关于它的使用资料很少,对学习者是一个很大的挑战;其次,kaldi是用C++编写,在windows下支持的不是很全面,所以需要在linux机器上使用它,这就要求学习者对linux系统及其shell命令比较熟悉。综合两方面,该工具使用需要一定的门槛,为了方便学习Kaldi工具,特此记录,欢迎学习kaldi工具的小伙伴,关注我的公众号"每日猿码",一起学习~
本文以AISHELL数据为例,做实践演示
git clone https://github.com/kaldi-asr/kaldi.git
该部分参见我的另外一篇文章,关于centos下编译Kaldi。
kaldi的实例都放在kaldi/egs的目录下,我们来看yesno实例的工程目录结构,为了保持与kaldi一致,我们需要创建类似kaldi/name/version模板的工程,文件列表如下图所示。
#1.建立文件夹
cd kaldi/egs
mkdir -p aispeech0/s5
#2.做符号链接
ln -s ./../../wsj/s5/utils/ utils
ln -s ./../../wsj/s5/steps/ steps
#3.复制环境变量文件path.sh以及并行配置文件cmd.sh
cp ./../../wsj/s5/path.sh ./
cp ./../../wsj/s5/cmd.sh ./
修改path.sh,如下图所示,修改KALDI_ROOT即可
修改cmd.sh,如下图所示,修改queue.pl为run.pl(单机)
aishell-1(http://www.aishelltech.com/kysjcp)提供了178小时的中文含标注的语音数据(aishell-1开源中文语音数据库),下载该完数据集后,解压会得到如下图所示两个文件夹
其中data_aishell/wav存放wav的压缩文件,解压后会得到 train,dev,test 数据用于训练/开发/测试:
另外的文件夹存放说话人信息及汉字与音素的对应关系。
该文件表示语音与说话内容的关系,如下图所示
该文件表示语音与存放路径的对应关系,如下图所示
该文件表示语音与说书人的对应关系,如下图所示
该文件表示说话人与语音的对应关系,如下图所示
该代码为kaldi中源码自带数据处理脚本,全为shell,若有不懂,可私聊小编
#!/usr/bin/env bash
# Copyright 2017 Xingyu Na
# Apache 2.0
. ./path.sh || exit 1;
if [ $# != 2 ]; then
echo "Usage: $0 <audio-path> <text-path>"
echo " $0 /export/a05/xna/data/data_aishell/wav /export/a05/xna/data/data_aishell/transcript"
exit 1;
fi
aishell_audio_dir=$1
aishell_text=$2/aishell_transcript_v0.8.txt
train_dir=data/local/train
dev_dir=data/local/dev
test_dir=data/local/test
tmp_dir=data/local/tmp
mkdir -p $train_dir
mkdir -p $dev_dir
mkdir -p $test_dir
mkdir -p $tmp_dir
# data directory check
if [ ! -d $aishell_audio_dir ] || [ ! -f $aishell_text ]; then
echo "Error: $0 requires two directory arguments"
exit 1;
fi
# find wav audio file for train, dev and test resp.
find $aishell_audio_dir -iname "*.wav" > $tmp_dir/wav.flist
n=`cat $tmp_dir/wav.flist | wc -l`
[ $n -ne 141925 ] &&
echo Warning: expected 141925 data data files, found $n
grep -i "wav/train" $tmp_dir/wav.flist > $train_dir/wav.flist || exit 1;
grep -i "wav/dev" $tmp_dir/wav.flist > $dev_dir/wav.flist || exit 1;
grep -i "wav/test" $tmp_dir/wav.flist > $test_dir/wav.flist || exit 1;
rm -r $tmp_dir
# Transcriptions preparation
for dir in $train_dir $dev_dir $test_dir; do
echo Preparing $dir transcriptions
sed -e 's/.wav//' $dir/wav.flist | awk -F '/' '{print $NF}' > $dir/utt.list
sed -e 's/.wav//' $dir/wav.flist | awk -F '/' '{i=NF-1;printf("%s %sn",$NF,$i)}' > $dir/utt2spk_all
paste -d' ' $dir/utt.list $dir/wav.flist > $dir/wav.scp_all
utils/filter_scp.pl -f 1 $dir/utt.list $aishell_text > $dir/transcripts.txt
awk '{print $1}' $dir/transcripts.txt > $dir/utt.list
utils/filter_scp.pl -f 1 $dir/utt.list $dir/utt2spk_all | sort -u > $dir/utt2spk
utils/filter_scp.pl -f 1 $dir/utt.list $dir/wav.scp_all | sort -u > $dir/wav.scp
sort -u $dir/transcripts.txt > $dir/text
utils/utt2spk_to_spk2utt.pl $dir/utt2spk > $dir/spk2utt
done
mkdir -p data/train data/dev data/test
for f in spk2utt utt2spk wav.scp text; do
cp $train_dir/$f data/train/$f || exit 1;
cp $dev_dir/$f data/dev/$f || exit 1;
cp $test_dir/$f data/test/$f || exit 1;
done
echo "$0: AISHELL data preparation succeeded"
exit 0;
今天的数据处理就讲到这里,大家有什么不懂的地方,可关注公众号"每日猿码",私聊小编,保证知无不言~
以上是脚本宝典为你收集整理的kaldi工具搭建语音识别系统——数据处理全部内容,希望文章能够帮你解决kaldi工具搭建语音识别系统——数据处理所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。