检索结果-南通市图书馆

基于多模态深度学习的癌症生存期预测方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多模态深度学习的癌症生存期预测方法研究

作者：李瑞清中国科学技术大学

学位级别：硕士

癌症作为一种多病因、多过程的复杂疾病,已成为人类生命和健康的第一杀手。因此,实现对癌症患者生存期的精准预测,在辅助医生制定个性化的诊疗方案,以及改善患者的生存结局等方面具重要意义。根据现有研究,有效融合癌症组学和病理图像... 详细信息

癌症作为一种多病因、多过程的复杂疾病,已成为人类生命和健康的第一杀手。因此,实现对癌症患者生存期的精准预测,在辅助医生制定个性化的诊疗方案,以及改善患者的生存结局等方面具重要意义。根据现有研究,有效融合癌症组学和病理图像多模态数据对提升生存期预测的准确性具有重大意义。然而,现有基于克罗内克积的生存期预测方法不仅会引入大量参数,从而导致计算成本过高以及模型过拟合等诸多问题,而且现有方法采用的单次融合方式,难以充分融合组学和病理图像等不同模态的数据。针对上述问题,本研究提出了基于多模态深度学习的癌症生存期预测方法,通过对多模态癌症数据进行更加专业有效的融合,不仅显著提升了癌症生存期的预测性能,而且有效降低了计算成本。本研究主要完成以下几个方面的工作:(1)为有效融合多模态癌症数据,从而实现对患者生存期的准确预测,本研究提出了一种新颖的端到端多模态癌症生存期预测方法HFBSurv(hierarchical factorized bilinear fusion for cancer survival prediction)。该方法通过采用基于深度神经网络的分层融合框架,将多模态数据融合问题分解为低层和高层两个不同的融合层次。同时,分别在低层和高层融合中设计了参数更少的模态特异性注意力分解双线性模块和跨模态注意力分解双线性模块,用于捕获各个模态内部和不同模态之间的特征交互关系,在此基础上进一步结合预测模块进行癌症生存期的有效预测。通过多种性能指标对该方法进行评估,结果表明HFBSurv中各模块不仅有助于提升癌症生存期预测的准确性,而且大大降低了模型的计算复杂度,同时与现有方法的对比,也显示了 HFBSurv在生存期预测方面的优越性。(2)为对癌症患者间的潜在关系进行有效建模,从而提升癌症生存期的预测性能,本研究进一步提出了图注意力分解双线性分层癌症生存期预测方法G-HFBSurv(graph attention hierarchical factorized bilinear fusion for cancer survival prediction)。该方法在HFBSurv的基础上,首先有效融合患者的组学和病理图像数据并生成相应的多模态特征,然后利用上述多模态特征构建患者相似性图以有效建模患者间的潜在关系。最后通过基于患者相似性图的图注意力模块对患者的多模态特征进行精化,从而实现癌症生存期的准确预测。实验结果表明,G-HFBSurv通过对患者间的潜在关系进行有效建模,显著提升了癌症生存期的预测性能。

关键词：癌症生存期预测多模态深度学习分解双线性模型图注意力组学数据数字病理图像

多模态深度学习及其在眼科人工智能的应用展望

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

协和医学杂志 2021年第5期12卷 602-607页

作者：李锡荣中国人民大学数据工程与知识工程教育部重点实验室北京100872 中国人民大学信息学院人工智能与媒体计算实验室北京100872 北京致远慧图科技有限公司人工智能实验室北京100872

深度学习的强学习能力和高易用性使其成为当前主流机器学习算法和医学人工智能的核心技术。鉴于医学影像在健康筛查、疾病诊断、精准治疗、预后评估等诸多任务中的关键作用,用于医学影像结构分析与语义理解的深度学习正成为重要的交叉... 详细信息

深度学习的强学习能力和高易用性使其成为当前主流机器学习算法和医学人工智能的核心技术。鉴于医学影像在健康筛查、疾病诊断、精准治疗、预后评估等诸多任务中的关键作用,用于医学影像结构分析与语义理解的深度学习正成为重要的交叉学科研究方向。在临床场景中,医生为了实现更精准的诊断,往往需要同时参考不同类型、不同模态的影像样本进行综合分析和判断。本文介绍面向此类场景的多模态深度学习的基本概念和工作原理,结合具体案例分析多模态深度学习在眼科领域的研究进展、应用情况及技术挑战,并对该技术的应用前景作出展望。

关键词：多模态深度学习眼科人工智能辅助诊断

在线全文

学校读者我要写书评

暂无评论

基于混合多模态深度学习框架的交通量预测

北部湾大学学报 2022年第2期37卷 12-17页

作者：吴文平高铭悦宿州学院信息工程学院安徽宿州234000

交通流预测一直是智能交通研究的一个关键问题,其受交通量速度、行程时间、密度、天气和事故等影响。对于交通量预测算法,以往的研究主要集中在时间序列预测、时空模式挖掘和预测算法理论三个方面。本文通过构建一个带有注意力机制的多... 详细信息

交通流预测一直是智能交通研究的一个关键问题,其受交通量速度、行程时间、密度、天气和事故等影响。对于交通量预测算法,以往的研究主要集中在时间序列预测、时空模式挖掘和预测算法理论三个方面。本文通过构建一个带有注意力机制的多模态深度学习框架,自适应地学习多模态交通数据的时空相关性和长时间相互依赖性。针对多模态交通数据高度非线性的特点,由卷积神经网络捕捉交通流局部趋势特征,门控循环单元捕捉长时间依赖关系,并通过多个CNN-GRU注意模块融合不同形态交通数据的共享来表示特征。实验结果表明,所提出的多模态深度学习模型能够处理复杂非线性城市交通流预测问题,其精度和有效性令人满意。

关键词：多模态深度学习 CNN GRU 交通量预测

基于多模态深度学习算法的帕金森辅助诊断系统

在线全文

学校读者我要写书评

暂无评论

物联网技术 2023年第8期13卷 2-3页

作者：潘煜东施政良马志远徐颖黄思瑜贾智平山东大学

本项目针对帕金森病诊断过程中存在的临床诊断难、诊断率低的难题,开发基于多模态深度学习的帕金森辅助分级诊断系统。利用各类传感器和多模态深度学习算法,将从被测试者处采集到的步态视频信息、发音信息以及四肢传感器信息进行特征提... 详细信息

本项目针对帕金森病诊断过程中存在的临床诊断难、诊断率低的难题,开发基于多模态深度学习的帕金森辅助分级诊断系统。利用各类传感器和多模态深度学习算法,将从被测试者处采集到的步态视频信息、发音信息以及四肢传感器信息进行特征提取;经多模态深度学习训练得到帕金森辅助诊断模型,实现对受试者的自动诊断。本项目不仅能为专业医生诊断提供受试者特征信息,还可以为社区、养老院提供低成本、多频次的帕金森早期筛查,帮助患者早发现、早治疗。

关键词：多模态深度学习帕金森辅助诊断智慧医疗

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

基于多模态深度学习的音乐情感鉴赏分类方法

安阳工学院学报 2023年第5期22卷 113-117页

作者：程敏阜阳师范大学音乐舞蹈学院安徽阜阳236041

为提升音乐情感鉴赏分类精度,提出基于多模态深度学习的音乐情感鉴赏分类方法。在分析音乐情感特征参数类别的基础上,采用相位残差算法提取音乐中的梅尔频率倒谱系数、基音频率、共振峰和频带能量分布4种音乐情感多模态特征后,输入注意... 详细信息

为提升音乐情感鉴赏分类精度,提出基于多模态深度学习的音乐情感鉴赏分类方法。在分析音乐情感特征参数类别的基础上,采用相位残差算法提取音乐中的梅尔频率倒谱系数、基音频率、共振峰和频带能量分布4种音乐情感多模态特征后,输入注意力网络模块,由此获取多模态特征中的隐藏信息;由多模态融合模块融合多模态特征,形成全局综合特征;利用分类器对融合后的特征进行拼接并输出分类结果。测试结果显示:该方法梅尔频率倒谱系数特征能量的分布范围在0 Hz~8225 Hz之间;基音频率特征结果变化范围在80.45 Hz~505.9 Hz之间,每种类别分类的正确概率均在0.988以上。证明所提方法能够有效完成音乐情感多模态特征提取。

关键词：多模态深度学习音乐情感分类方法基音频率频带能量分布综合特征

在线全文

学校读者我要写书评

暂无评论

基于多模态深度学习的驾驶行为识别方法研究

基于多模态深度学习的驾驶行为识别方法研究

作者：刘小雨南京邮电大学

学位级别：硕士

汽车保有量的不断增加在带来便利的同时也给交通增加了巨大的压力,不规范的驾驶行为是导致交通事故频发的重要原因,因此对驾驶行为进行监测与规范应成为避免交通事故的重要手段。针对上述问题与需求,本文做了以下几项工作:首先,本文研... 详细信息

汽车保有量的不断增加在带来便利的同时也给交通增加了巨大的压力,不规范的驾驶行为是导致交通事故频发的重要原因,因此对驾驶行为进行监测与规范应成为避免交通事故的重要手段。针对上述问题与需求,本文做了以下几项工作:首先,本文研究了基于迁移学习的驾驶行为识别方法。该部分内容主要分为卷积神经网络的研究、图像增强技术和驾驶行为识别的仿真实验设计与分析。针对卷积神经网络的研究,本文先介绍了卷积神经网络的基本原理以及当前业界流行的Alex Net、VGG、Xception、Inception Res Net和Efficient Net等模型的基本结构。另外,本文在State Farm图像数据集的基础上进行了基于迁移学习的模型训练,并对模型性能进行了评估。其中,State Farm中包括安全驾驶,发短信,操作收音机以及与乘客交谈等十种常见的驾驶行为。最后,仿真实验在上述五种模型上进行了测试,准确率最高达到了89.32%。但是基于图像的驾驶行为识别存在着难以识别相似动作的瓶颈,因此考虑将声音加入识别过程。其次,本文研究了基于VAD算法的人声检测。该部分内容主要介绍了相关音频数据集、常见的语音处理方法、VAD算法的人声检测原理和人声检测实验设计与结果分析。该部分最后实现了基于VAD算法的人声检测实验,在共计21424条音频数据上的准确率达到99.98%且单条运行时间为9.72ms。最后,本文提出了一种基于多模态深度学习的驾驶行为识别方法。该部分内容主要包括多模态深度学习的框架介绍、多模态数据的融合、仿真实验设计与结果分析。首先对多模态深度学习的理论与方法框架进行阐述。其次,在图像与音频研究工作的基础上,该部分将图像与音频结合,利用人声检测将驾驶行为图像划分为有人声的驾驶行为图像和无人声的驾驶行为图像。最后,仿真实验结果从原本的89.32%提高到96.05%。结果表明,基于多模态深度学习的驾驶行为识别方法是行之有效的。此外,本文设计了一套驾驶行为识别系统可用于驾驶行为的识别。

关键词：多模态深度学习驾驶行为识别卷积神经网络迁移学习人声检测

转子故障的多模态深度学习信息融合诊断方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

转子故障的多模态深度学习信息融合诊断方法研究

作者：刘子旺中国石油大学(北京)

学位级别：硕士

旋转设备作为石油石化行业关键设备,运行环境复杂,易发生各种故障,严重时会造成停机甚至事故。转子系统是旋转设备的核心部分,结构复杂,部件众多,时常发生耦合故障,振动分量多且复杂,基于振动的监测难以覆盖整个设备和所有类型的故障。... 详细信息

旋转设备作为石油石化行业关键设备,运行环境复杂,易发生各种故障,严重时会造成停机甚至事故。转子系统是旋转设备的核心部分,结构复杂,部件众多,时常发生耦合故障,振动分量多且复杂,基于振动的监测难以覆盖整个设备和所有类型的故障。而红外监测可以同时测量多个部件的温度信息,适用于耦合故障诊断。因此,本文引入基于红外图像的故障诊断方法,针对红外图像敏感区域提取、特征学习以及红外和振动信息融合的故障诊断方法进行了研究:(1)研究基于卷积神经网络(Convolutional Neural Network,CNN)的红外图像和振动信号的特征学习,通过构建适用于转子平台红外和振动信息特征学习的CNN模型,实现了红外和振动特征的自动提取。与使用人工提取的特征进行故障诊断相比,准确率分别提高了12.5和3.33个百分点。并用核主元分析(Kernel Principal Component Analysis,KPCA)方法对学习到的特征进行降维可视化,直观地证明了CNN提取的特征具有更好的聚类分布。(2)针对红外图像存在强度集中、对比度低、干扰背景多的特点,提出基于红外显著性检测和阈值优化的故障敏感区域提取方法。使用区域对比的显著性检测方法有效去除图像中的干扰背景,并依据随机森林的诊断结果对图像分割阈值迭代优化,实现了敏感区域的优化提取。与使用人工框选的敏感区域进行诊断相比,该方法可将准确率提高7.5个百分点。(3)针对红外和振动的信息融合和故障诊断问题,提出多模态深度学习的信息融合诊断方法,将特征学习和信息融合两个过程统一于一个模型。通过有监督的训练,学习和反向调整特征学习和融合网络中的权值,增加了数据之间的关联性。通过与其他决策级和特征级融合诊断方法的比较表明,使用本文方法对转子平台进行诊断时故障识别率更高。

关键词：信息融合多模态深度学习敏感区域提取转子平台故障诊断

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多模态深度学习的医学图像配准方法设计

新乡学院学报 2021年第6期38卷 33-37页

作者：王露露阜阳职业技术学院阜阳卫生学校安徽阜阳236015

利用传统方法进行医学图像配准时,会出现受到医学图像自相似性大的影响而无法进行空间变换,导致图像配准过程中存在延展性较低的问题。为此,提出一种基于多模态深度学习的医学图像配准方法。利用高斯滤波器对医学图像进行高斯模糊,构建... 详细信息

利用传统方法进行医学图像配准时,会出现受到医学图像自相似性大的影响而无法进行空间变换,导致图像配准过程中存在延展性较低的问题。为此,提出一种基于多模态深度学习的医学图像配准方法。利用高斯滤波器对医学图像进行高斯模糊,构建高斯金字塔并在金字塔中对极值点进行检测与定位,实现特征点的提取。选择刚体变换模型对医学图像实施空间变换中的局部变换。采集医学图像样本数据并利用样本数据进行训练,构建医学图像的多模态深度学习模型。利用该模型对2个待配准医学图像进行深度路径融合,构建医学图像配准的目标函数,实现医学图像的配准。将传统方法与该方法在3种图像上进行对比配准实验,结果证明该方法在3种图像上的延展性均较高。

关键词：多模态深度学习医学图像图像配准正态分布高斯曲面

在线全文

学校读者我要写书评

暂无评论

基于深度学习的多模态医学影像研究进展

分子影像学杂志 2022年第3期45卷 459-464页

作者：王宗敏福林高云玥内蒙古医科大学附属医院超声诊断科内蒙古呼和浩特010000

凭借深度学习及大数据等技术的飞速发展,人工智能是医学领域最具发展前景的技术,鉴于医学影像对疾病的诊断与及时治疗的关键作用,医学影像与人工智能的结合正成为重要的交叉学科研究方向。在临床实践中,医生为了更精确全面的诊断疾病,... 详细信息

凭借深度学习及大数据等技术的飞速发展,人工智能是医学领域最具发展前景的技术,鉴于医学影像对疾病的诊断与及时治疗的关键作用,医学影像与人工智能的结合正成为重要的交叉学科研究方向。在临床实践中,医生为了更精确全面的诊断疾病,往往需要同时参考多模态的影像数据进行综合分析和判断。本文首先介绍了多模态深度学习的基本概念和工作原理,对深度学习技术应用于多模态医学影像辅助诊断的代表性研究成果做出综述,分析了多模态深度学习在医学影像领域的技术挑战,并对该技术的应用前景作出展望。

关键词：人工智能多模态深度学习医学影像辅助诊断

维普期刊数据库博看期刊