藏语文本标准化方法

作     者：拉巴顿珠 扎西多吉 珠杰 

作者机构：西藏大学信息科学技术学院 西藏信息化省部共建协同创新中心 

出 版 物：《吉林大学学报(工学版)》 (Journal of Jilin University(Engineering and Technology Edition))

年 卷 期：2023年

核心收录：

学科分类：0501[文学-中国语言文学] 0304[法学-民族学] 03[法学] 05[文学] 050107[文学-中国少数民族语言文学（分语族）] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(62066042 62162057) 教育部人文社会科学研究项目(21YJCZH059) 

主　　题：计算机应用技术 藏语文本分析 文本标准化 语音合成 特殊符号 字音转换 

摘      要：文本标准化是语音合成前端文本分析中的首要处理任务，其处理结果直接影响到字音转换、音素分析、自动分词、词性预测、韵律标注等一系列后续处理的效果。本文首先对藏文标记符号和来自其他语言的非藏文特殊符号在藏语文本中不同表现形式进行了深度解析，并通过不同特征对特殊符号进行了分类；其次，根据归纳的不同类型，分别建立起了15种特殊符号转化为藏语的书写规则；最后，以13490个句子作为实验数据，通过藏语字音转换测试来识别并检测文本中特殊符号和藏文音节的有效性，采用规则匹配的方法对含有特殊符号的句子进行标准化处理。实验结果表明，标准化之前藏语音素转写的遗漏率高达4.69%，而经过标准化之后音素转写的遗漏率降低到0.01%，其藏语文本标准化准确率达99%。