检索结果-南通市图书馆

基于conformer的端到端语音识别方法

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2024年第7期41卷 2018-2024页

作者：胡从刚申艺翔孙永奇赵思聪交通大数据与人工智能教育部重点实验室北京100044 北京交通大学计算机与信息技术学院北京100044 北京航天晨信科技有限责任公司北京102308

针对conformer编码器的声学输入网络对FBank语音信息提取不足和通道特征信息缺失问题,提出一种RepVGG-SE-conformer的端到端语音识别方法。首先,利用RepVGG的多分支结构,增强模型的语音信息提取能力,而在模型推理时通过结构重参数化将... 详细信息

针对conformer编码器的声学输入网络对FBank语音信息提取不足和通道特征信息缺失问题,提出一种RepVGG-SE-conformer的端到端语音识别方法。首先,利用RepVGG的多分支结构,增强模型的语音信息提取能力,而在模型推理时通过结构重参数化将多分支融合为单分支,以降低计算复杂度、加快模型推理速度。然后,利用基于压缩和激励网络的通道注意力机制弥补缺失的通道特征信息,以提高语音识别准确率。最后,在公开数据集Aishell-1上的实验结果表明:相较于conformer,所提出方法的字错误率降低了10.67%,验证了方法的先进性。此外,RepVGG-SE声学输入网络能够有效提高多种Transformer变体的端到端语音识别模型的整体性能,具有很好的泛化能力。

关键词：语音识别 conformer RepVGG 压缩和激励网络

在线全文

学校读者我要写书评

暂无评论

基于层次化conformer的语音合成

计算机科学 2024年第2期51卷 161-171页

作者：吴克伟韩超孙永宣彭梦昊谢昭大数据知识工程教育部重点实验室(合肥工业大学) 合肥230601 情感计算与先进智能机器安徽省重点实验室(合肥工业大学) 合肥230601 合肥工业大学计算机与信息学院合肥230601

语音合成需要将输入语句的文本转换为包含音素、单词和语句的语音信号。现有语音合成方法将语句看作一个整体,难以准确地合成出不同长度的语音信号。通过分析语音信号中蕴含的层次化关系,分别设计基于conformer的层次化文本编码器和基于... 详细信息

语音合成需要将输入语句的文本转换为包含音素、单词和语句的语音信号。现有语音合成方法将语句看作一个整体,难以准确地合成出不同长度的语音信号。通过分析语音信号中蕴含的层次化关系,分别设计基于conformer的层次化文本编码器和基于conformer的层次化语音编码器,并提出了一种基于层次化文本-语音conformer的语音合成模型。首先,该模型根据输入文本信号的长度,构建层次化文本编码器,包括音素级、单词级、语句级文本编码器3个层次,不同层次的文本编码器描述不同长度的文本信息;并使用conformer的注意力机制来学习该长度信号中不同时间特征之间的关系。利用层次化的文本编码器,能够找出语句中不同长度需要强调的信息,有效实现不同长度的文本特征提取,缓解合成的语音信号持续时间长度不确定的问题。其次,层次化语音编码器包括音素级、单词级、语句级语音编码器3个层次。每个层次的语音编码器将文本特征作为conformer的查询向量,将语音特征作为conformer的关键字向量和值向量,来提取文本特征和语音特征的匹配关系。利用层次化的语音编码器和文本语音匹配关系,可以缓解不同长度语音信号合成不准确的问题。所提模型的层次化文本-语音编码器可以灵活地嵌入现有的多种解码器中,通过文本和语音之间的互补,提供更为可靠的语音合成结果。在LJSpeech和LibriTTS两个数据集上进行实验验证,实验结果表明,所提方法的梅尔倒谱失真小于现有语音合成方法。

关键词：语音合成文本编码器语音编码器层次化模型 conformer

基于conformer模型的智能电网调度语音识别研究

在线全文

学校读者我要写书评

暂无评论

制造业自动化 2024年第6期46卷 126-131页

作者：邓彬彭超逸张宗包深圳供电局有限公司广东深圳5800

完成智能虚拟电网调度,语音识别是重要一部分,识别的准确性直接由语言模型决定。提出一种基于conformer模型的智能电网调度语音识别技术,在Transformer模型里面引入卷积模块来提高模型的细微特征学习能力,首先介绍了conformer的原理,并... 详细信息

完成智能虚拟电网调度,语音识别是重要一部分,识别的准确性直接由语言模型决定。提出一种基于conformer模型的智能电网调度语音识别技术,在Transformer模型里面引入卷积模块来提高模型的细微特征学习能力,首先介绍了conformer的原理,并结合LAS解码器构建了语音识别模型;然后输入电网调度语言进行特征提取,提高模型的适应性;最后通过试验验证,所提模型在电网调度语音识别中具有很高的准确性,验证相对于常见的语音识别Transformer模型与CTC模型,在验证集上的字错率分别降低了11.23%、21.76%,表明模型具有很好的效果。

关键词：电网调度语音识别 conformer Transformer 特征学习

A Robust conformer-Based Speech Recognition Model for Mandarin Air Traffic Control

在线全文

学校读者我要写书评

暂无评论

Computers, Materials & Continua 2023年第10期77卷 911-940页

作者： Peiyuan Jiang Weijun Pan Jian Zhang Teng Wang Junxiang Huang College of Air Traffic Management Civil Aviation Flight University of ChinaDeyang618307China East China Air Traffic Management Bureau Xiamen Air Traffic Management StationXiamen361015China

This study aims to address the deviation in downstream tasks caused by inaccurate recognition results when applying Automatic Speech Recognition(ASR)technology in the Air Traffic Control(ATC)field.This paper presents a novel cascaded model architecture,namely conformer-CTC/Attention-T5(CCAT),to build a highly accurate and robust ATC speech recognition model.To tackle the challenges posed by noise and fast speech rate in ATC,the conformer model is employed to extract robust and discriminative speech representations from raw waveforms.On the decoding side,the Attention mechanism is integrated to facilitate precise alignment between input features and output characters.The Text-To-Text Transfer Transformer(T5)language model is also introduced to handle particular pronunciations and code-mixing issues,providing more accurate and concise textual output for downstream tasks.To enhance the model’s robustness,transfer learning and data augmentation techniques are utilized in the training strategy.The model’s performance is optimized by performing hyperparameter tunings,such as adjusting the number of attention heads,encoder layers,and the weights of the loss function.The experimental results demonstrate the significant contributions of data augmentation,hyperparameter tuning,and error correction models to the overall model performance.On the Our ATC Corpus dataset,the proposed model achieves a Character Error Rate(CER)of 3.44%,representing a 3.64%improvement compared to the baseline model.Moreover,the effectiveness of the proposed model is validated on two publicly available datasets.On the AISHELL-1 dataset,the CCAT model achieves a CER of 3.42%,showcasing a 1.23%improvement over the baseline model.Similarly,on the LibriSpeech dataset,the CCAT model achieves a Word Error Rate(WER)of 5.27%,demonstrating a performance improvement of 7.67%compared to the baseline model.Additionally,this paper proposes an evaluation criterion for assessing the robustness of ATC speech recognition systems.In robustness evaluation experiments

关键词： Air traffic control automatic speech recognition conformer robustness evaluation T5 error correction model

结合字节级别字节对编码的端到端中文语音识别方法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

计算机应用 2024年

作者：付强徐振平盛文星叶青长江大学计算机科学学院

针对语音识别中对于中文、韩文等复杂且字符集庞大的语言导致词汇表过大以及训练效率太慢的问题，提出了一种基于字节级别字节对编码（BBPE）的端到端中文语音识别方法。首先，将256个不同的字节用于初始化词汇表；其次，统计每个词汇... 详细信息

针对语音识别中对于中文、韩文等复杂且字符集庞大的语言导致词汇表过大以及训练效率太慢的问题，提出了一种基于字节级别字节对编码（BBPE）的端到端中文语音识别方法。首先，将256个不同的字节用于初始化词汇表；其次，统计每个词汇单元在语料中出现的频率，并合并频率最高的词汇单元；最后，重复上一步直至无法合并，得到最终的词汇表。在中文语音数据集AISHELL-1上，该方法生成的词汇表相比于字符级别词汇表的词汇量减小了88.5%，降低了模型训练的复杂度。同时，鉴于conformer-Transducer(conformer-T)模型在端到端语音识别中表现出色，为了实现更好的识别效果，本文将最新的Zipformer模型与Transducer模型相结合提出Zipformer-Transducer(Zipformer-T)模型，并在该模型上对BBPE方法进行验证。实验结果表明，该模型使用BBPE相对于字符级别分词方法在AISHELL-1测试集和验证集上字错率（CER）分别下降了0.12和0.08个百分点，且分别达到4.26%和3.98%的最低CER，充分证明该方法能有效提升中文语音识别的性能。

关键词：语音识别 conformer Zipformer 字节级别字节对编码端到端

基于局部和全局特征提取及多级特征聚合的中文方言识别模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

华东理工大学学报(自然科学版) 2024年

作者：孟一凡陈宁李泓锴华东理工大学信息科学与工程学院

与其他语种的方言相比，中文方言种类较多，且方言类间差异小，类内差异大，因此中文方言识别极具挑战性。考虑到中文方言间的差异性可能体现在语音的局部（短时）特性上，也可能体现在语音的全局（长时）特性上，同时还可能反映在语音... 详细信息

与其他语种的方言相比，中文方言种类较多，且方言类间差异小，类内差异大，因此中文方言识别极具挑战性。考虑到中文方言间的差异性可能体现在语音的局部（短时）特性上，也可能体现在语音的全局（长时）特性上，同时还可能反映在语音的不同层级的特性上，本文提出一种融合语音局部和全局特征提取以及多级特征聚合的中文方言识别模型。具体而言，本文首先通过Res2Block提取语音的局部特征，然后利用conformer提取语音的全局特征，最后通过将多个conformer级联的输出进行多层级特征的聚合。跨域和非跨域的实验结果表明，该模型取得了比基线模型更高的识别准确率。

关键词： conformer 方言识别多层级特征聚合 Res2Block 注意力统计池化

基于语音信号时频特征融合的帕金森病检测方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

郑州大学学报(理学版) 2024年

作者：王晨哲季薇郑慧芬李云南京医科大学附属老年医院南京邮电大学计算机学院南京邮电大学通信与信息工程学院

发音障碍是帕金森病的早期症状之一。近年来,基于语音信号的帕金森病检测的研究大多采用梅尔刻度下的相关语音特征与深度神经网络模型相结合的方法。然而,现有的模型无法充分关注语音信号的全局时序信息,且梅尔刻度特征在准确表征帕金... 详细信息

发音障碍是帕金森病的早期症状之一。近年来,基于语音信号的帕金森病检测的研究大多采用梅尔刻度下的相关语音特征与深度神经网络模型相结合的方法。然而,现有的模型无法充分关注语音信号的全局时序信息,且梅尔刻度特征在准确表征帕金森病的病理信息方面效果有限。为此,提出了一种基于语音时频特征融合的帕金森病检测方法。首先,提取语音的梅尔频率倒谱系数,并将其作为模型的输入。接着,在已有的S-vectors模型中引入conformer编码器模块,以提取语音的时域全局特征。最后,将与帕金森病语音检测相关的频域全局特征嵌入到时域特征中进行时频信息融合,以实现帕金森病语音检测。在公开帕金森病语音数据集和自采语音数据集上验证了方法的有效性。

关键词：帕金森病梅尔频率倒谱系数 S-vectors conformer 时频特征融合

conformer Pair Contributions to Optical Rotations in a Series of Chiral Linear Aiiphatic Alcohols

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

Chemical Research in Chinese Universities 2019年第1期35卷 109-119页

作者： ZHAO Dan REN Jie XIONG Yongfei DONG Mengxiang ZHU Huajie Charles U.PITTMAN.Jr. School of Pharmacy Hebei UniversityBaoding 071002P.R.China Department of Chemistry Mississippi State UniversityStarkville 39762MSUS

The chain length effect of four chiral aliphatic alcohols,(S)-2-butanol,(S)-2-pentanol,(S)-2-hexanol and (S)-2-heptanol,on their specific optical rotations(OR)was studied experimentally and theoretically via quantum theory.Many conformations of each chiral alcohol exist as conformer pairs in solution.The OR sum from these pairs of conformers has much smaller contributions to OR values than that contributed by the most stable conformation. These four alcohols'OR values were also investigated using the matrix model,which employs each substituent's comprehensive mass,radii,electronegativity and symmetry number as the elements in the matrix.These are all particle properties.This matrix determinant is proportional to its OR values within a closely related structural series of chiral compounds.The experimental OR values and the matrix determinants of these four alcohols were compared with the predicted OR values obtained from quantum theory wave functions.The ORs predicted by the matrix method, which is based on particle function statistics,agreed with the results from quantum theory.The agreement between OR predictions by the matrix method and DFT calculations illustrates the wave-particle duality of polarized light that is operating in these predictions.

关键词： Optical rotation Absolute configuration conformer pair Matrix model Quantum computation

conformer Analysis of a Biological G-Quadruplex Element in the Human c-MYC Promoter by Native Polyacrylamide Gel Electrophoresis

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

Journal of Analysis and Testing 2021年第2期5卷 188-194页

作者： Xiao-Li Hu Hong-Yi Cao Liang Fang Hua Zuo Key Laboratory of Luminescence Analysis and Molecular Sensing(Southwest University) Ministry of EducationCollege of Pharmaceutical SciencesSouthwest UniversityChongqing 400715China Department of Oncology The Ninth People's Hospital of ChongqingChongqing 400700 China

The G-quadruplexes undergo complex folding and conformation exchanges.G-quadruplex stability is substantially influenced by sequence,bufer and temperature.Mutational analysis together with nuclear magnetic resonance spectroscopy(NMR),X-ray crystallography and circular dichroism spectroscopy has been proved to be a powerful approach for G-quadruplex structural analysis.Herein,we used DNA sequence mutation and native polyacrylamide gel electrophoresis to investigate the topology and conformations of a G-quadruplex model molecule Pu18 found in the human c-MYC promoter.The guanines(G6,G9 or G18)which were not contributable to G-tetrad formation in c-MYC Pu18 sequence were mutated to thymine or adenine.We screened the buffer and temperature of gel electrophoresis for Pu18.Gel electrophoresis showed that two of the four conformers of c-MYC Pu18 in 100 mM K+buffer were resolved,which was in accordance with the conformations as determined by the 1 H NMR spectra in previous studies.This technique is expected as a general methodology for its easy operation and low cost to facilitate uncovering more yet unidentified G-quadruplex folds and functions,with the assistance of other analytical methods like NMR,X-ray crystallography and circular dichroism spectroscopy.

关键词： G-Quadruplex conformer C-MYC Native polyacrylamide gel electrophoresis Sequence mutation