06.21 重要通知!2018 iFLYTEK AI 开发者大赛方言赛初赛正式开启!

2018 iFLYTEK AI 开发者大赛分赛题“方言种类识别AI挑战赛”初赛从今天起正式开始!同时,其提交作品通道也将全面开启!

提交作品时间:6月20日—7月19日

报名截止时间:7月10日

此次大赛面向全球开发者首次开放中文方言语音数据集,利用开放的方言语音数据集进行模型训练,优化方言种类的识别效果。

重要通知!2018 iFLYTEK AI 开发者大赛方言赛初赛正式开启!

赛题详情

方言种类识别 AI 挑战赛任务为汉语方言语言种类识别,即根据给定语音,判断该语音属于哪个方言。科大讯飞全球首次开放覆盖中国六大方言区,总时长约 60 小时的 10 种汉语方言语音数据集,供参加竞赛的科研单位以及开发者免费使用。

方言识别 AI 挑战赛结果评价指标为分类正确率:即分类正确的语音条数/所有语音条数。训练集合与开发集合供参加竞赛的科研单位以及开发者调试系统使用,测试集合不开放,最终排名以参赛者提交的系统在线上测试集合上的结果为准,分类正确率越高排名越靠前。

基线系统介绍

官方提供一个基于神经网络的端到端方言识别系统。该系统采用LSTM(Long Short-Term Memory,LSTM)模型,并以CE(cross entropy,CE)准则优化模型。

其中语音特征采用40维的FB(Filter Bank,FB)特征,并对特征进行整句均值规整处理;LSTM是隐层节点为128的1层单向结构,再连接全连接层后进行softmax,并做帧级输出值的平均,用于预测方言的类别标签,此处用于预测方言的个数为6。

在测试时,待测语音经过LSTM模型后会得到维度等于方言个数(6)的得分向量,维度最高值对应的方言即为判定的方言种类。

评测方式

本次比赛的测试集是不公开的,因此需要参赛者提交自己的评测系统(不提供训练所需的计算平台,模型由参赛者自行训练完成),具体操作方式如下:

a)初赛提交系统时,请提交参赛者名称、第一作者、参赛系统(提交方式见下面详述)

b)复赛提交系统时,需要额外提交一份参赛系统的论文或者说明书(最好能够附带提供源代码),详细介绍系统的构成、训练方法和对应的参数

c)如无特殊情况,每天上午11点在官方网页上公布各个参赛者在测试集上的分类正确率并对结果进行排序(每个参赛单位的结果以最新提交的为准)

评测系统

1.评测系统目录结构

/dataset…………………………测试数据目录,评测代码必须遍历此目录下所有音频文件(后缀名为pcm)进行测试

/inference………………………评测代码及资源目录,系统运行的当前路径

/result……………………………评测代码中要创建此目录,并请将评测结果以result.txt命名,存放在此目录,文件格式见《result.txt》

2.本地开发调试

a. 训练——参赛者下载训练集和开发集,自行训练

可参考基线系统的LSTM模型方案,使用开源深度学习框架进行模型训练,也可以采用其他技术方案。完成模型训练后再进行本地评测调试。

b. 本地评测调试——使用开源深度学习训练框架(推荐)

请从公开镜像仓库下载对应版本的深度学习镜像CPU版本,编写本地程序进行评测。以pytorch工具为例:

I.下载镜像,docker pull floydhub/pytorch:0.4.0-py2.29

II.下载开发集,并存放到 /dataset目录,将评测代码inference.sh及评测所需资源复制到 /inference目录

III.运行镜像,docker run –it –v /dataset:/dataset –v /inference:/inference –v /result:/result floydhub/pytorch:0.4.0-py2.29 /inference/inference.sh

IV.查看输出结果(result\\result.txt文件),并检查该输出结果的正确性

其他框架与此类似

c. 使用非开源深度学习训练框架

首先,要将使用的深度学习训练框架制作成docker镜像,上传至公开镜像仓库(推荐使用国内稳定镜像仓库服务,如UCloud)

d. 制作详情可参考docker官方文档,具体操作如下

I.在hub.docker.com注册账号,并创建仓库

II.本地执行docker tag your_demo your_account/your_demo:latest

III.本地执行docker push account/your_demo:latest,等待命令执行成功后,即可在hub.docker.com网页上,看到新提交的镜像信息。

镜像提交完成后,参考使用开源深度学习训练框架中的步骤,进行本地开发和调试,具体的为:

IV. 下载上传的镜像,docker pull yourtoolname

V.下载开发集到 /dataset目录,将评测代码inference.sh及评测所需资源复制到 /inference目录

VI.运行镜像,docker run –it –v /dataset:/dataset –v /inference:/inference –v /result:/result yourtoolname /inference/inference.sh

VII.查看输出结果,并检查该输出结果的正确性。

3.提交评测系统

a. 将/inference目录打包成tar文件,tar –cvf inference.tar inference/

b. 在比赛官网中评测系统提交页面进行上传

4.线上验证及评测

a. 配置系统所需的镜像仓库地址,镜像入口及验证参数(/dataset目录由系统自动将开发集挂载到镜像内)

b. 点击“提交”,等待评测结果,确保提交的测试程序能够遍历运行环境下/dataset目录内所有pcm文件

c. 如评测报错或效果异常,请排查/inference目录结构、镜像等配置信息

5.温馨提示:

各位选手提交的评测系统,需要遍历dataset目录下所有测试文件,并按规定格式输出包含所有测试文件分类结果的result.txt文件,比赛系统会自动根据result.txt中的分类结果计算正确率,并作为比赛成绩。

6. 关于docker的使用说明?

docker的使用说明(点击查看详情)

PS:有疑问的小伙伴,欢迎添加小助手微信或者直接在留言区留言。小助手看到后一定会及时为您解答哦~

您也可以直接添加开发者大赛小助手的微信

◆您将获得的参赛权益:

1.参加初赛并提交有效作品:

· 团队与作品参赛证明

2.入围复赛

· 团队与作品晋级复赛证书

· 大赛纪念勋章及定制礼包

· 1024开发者节全场通票

3.入围决赛

· 团队与作品晋级决赛证书

· 大赛决赛战队纪念勋章

· 科大讯飞明星产品套装

· 讯飞创孵基地绿色入驻通道

4.决赛胜出

· 总计¥100万元现金

· 大赛获奖证书与奖杯

· AI全链创业扶持

· 1024科技晚宴席位

· 绿色就业通道&讯飞Offer

大家切记要在报名截止时间之前在官网上完成所有报名流程!

报名戳我:官方唯一报名通道!


分享到:


相關文章: