检索结果-南通市图书馆

多模可信交互:从多模态信息融合到人-机器人-数字人三位一体式交互模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

中国科学：信息科学 2024年第4期54卷 872-892页

作者：王国庆裴云强杨阳徐行汪政申恒涛电子科技大学计算机科学与工程学院成都611731 鹏程实验室深圳518055

信任在人-机器人-数字人协作中扮演着关键角色,因为它不仅影响了人-机器人-数字人的效率,同时也存在风险和益处.然而,当前的人-机器人-数字人信任研究存在"失衡"现象,即大部分研究集中于"以人为中心"的信任关系而忽略了智能体(机器人和... 详细信息

信任在人-机器人-数字人协作中扮演着关键角色,因为它不仅影响了人-机器人-数字人的效率,同时也存在风险和益处.然而,当前的人-机器人-数字人信任研究存在"失衡"现象,即大部分研究集中于"以人为中心"的信任关系而忽略了智能体(机器人和数字人)对人的信任.为了填补人-机器人-数字人信任研究领域的这一空白,在使用多模态信号来建立人-机器人-数字人交互中的适度单向信任基础上,构建跨虚实世界的"三位一体"经历交融共享生态.本文旨在探讨多模态线索和增强现实在建立人-机器人-数字人之间可信关系方面的现有研究、可行性和未来发展方向.最后,本文展望了该模式在社会组织形态及社会事件态势感知和管控中的应用前景,并指出了未来需要解决的问题.本文的研究有助于理解多模态线索和增强现实在人-机器人-数字人交互中的作用,并为"三位一体"趋势的实现提供思路和解决方案.

关键词：增强现实多模态交互人-机器人-数字人交互信任

在线全文

学校读者我要写书评

暂无评论

多模态协同感知与融合技术专题前言

软件学报 2024年第5期35卷 2099-2100页

作者：孙立峰宋新航蒋树强王莉莉申恒涛清华大学计算机科学与技术系中国科学院计算技术研究所智能信息处理重点实验室北京航空航天大学计算机学院电子科技大学计算机科学与工程学院

与人类利用视觉、听觉、触觉等多种感官信息来感知世界相似,计算机智能系统也可通过不同的传感器,如摄像头、雷达、麦克风、触觉传感器等,来获取人类和物理世界中的数据与信息.随着智能终端和多模态传感设备的普及,可用于感知世界的数...

与人类利用视觉、听觉、触觉等多种感官信息来感知世界相似,计算机智能系统也可通过不同的传感器,如摄像头、雷达、麦克风、触觉传感器等,来获取人类和物理世界中的数据与信息.随着智能终端和多模态传感设备的普及,可用于感知世界的数据来源、维度和数据量都在快速增长,单独模态数据所提供的信息已经不能满足智能系统感知与理解世界的需求.因此智能系统在感知世界时,需要从更多模态数据的差异化获取、动态适配、

关键词：

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于跨模态自蒸馏的零样本草图检索

软件学报 2022年第9期33卷 3152-3164页

作者：田加林徐行沈复民申恒涛电子科技大学计算机科学与工程学院四川成都611731

零样本草图检索将未见类的草图作为查询样本,用于检索未见类的图像.因此,这个任务同时面临两个挑战:草图和图像之间的模态差异以及可见类和未见类的不一致性.过去的方法通过将草图和图像投射到一个公共空间来消除模态差异,还通过利用语... 详细信息

零样本草图检索将未见类的草图作为查询样本,用于检索未见类的图像.因此,这个任务同时面临两个挑战:草图和图像之间的模态差异以及可见类和未见类的不一致性.过去的方法通过将草图和图像投射到一个公共空间来消除模态差异,还通过利用语义嵌入(如词向量和词相似度)来弥合可见类和未见类的语义不一致.提出了跨模态自蒸馏方法,从知识蒸馏的角度研究可泛化的特征,无需语义嵌入参与训练.具体而言,首先通过传统的知识蒸馏将预训练的图像识别网络的知识迁移到学生网络.然后,通过草图和图像的跨模态相关性,跨模态自蒸馏将上述知识间接地迁移到草图模态的识别上,提升草图特征的判别性和泛化性.为了进一步提升知识在草图模态内的集成和传播,进一步地提出草图自蒸馏.通过为数据学习辨别性的且泛化的特征,学生网络消除了模态差异和语义不一致性.在3个基准数据集,即Sketchy、TU-Berlin和QuickDraw,进行了广泛的实验,证明了所提跨模态自蒸馏方法与当前方法相比较的优越性.

关键词：零样本草图检索零样本学习跨模态检索知识蒸馏

在线全文

学校读者我要写书评

暂无评论

MXenes在锂离子电池负极材料中的应用

工程科学学报 2023年第2期45卷 253-262页

作者：申恒涛安永灵满泉言冯金奎材料液固结构演变与加工教育部重点实验室济南250061 山东大学材料科学与工程学院济南250061

MXenes(M_(n+1)X_(n)T_(x))是一类二维无机化合物材料,它由几个原子层厚度的过渡金属氮化物、碳化物或碳氮化物构成.由于具有大的比表面积、快速充放电性能和小的体积变化等优点,MXenes受到越来越多研究人员的关注.研究者希望能够利用MX... 详细信息

MXenes(M_(n+1)X_(n)T_(x))是一类二维无机化合物材料,它由几个原子层厚度的过渡金属氮化物、碳化物或碳氮化物构成.由于具有大的比表面积、快速充放电性能和小的体积变化等优点,MXenes受到越来越多研究人员的关注.研究者希望能够利用MXenes材料研发出具有优异电化学性能的锂离子电池负极材料,从而提高电池的能量密度和寿命.然而MXenes材料制备过程中产生的层间堆积和坍塌限制了其进一步的发展.目前,研究人员通过将MXenes与其他材料复合制备出具有新结构的材料,不仅可以扩大层间距,改善材料结构,还有助于改进材料的电化学性能.本文介绍了MXenes与碳纳米材料、过渡金属氧化物、过渡金属硫化物和硅等材料复合改性来提高材料电化学性能的研究策略,并探讨了MXenes和碱金属等材料复合实现稳定无枝晶的锂离子电池金属负极的方案.最后,阐述了MXenes应用在锂离子电池负极材料中面临的挑战,并作出了展望.

关键词： MXenes 锂离子电池负极材料电化学性能复合改性

在线全文

学校读者我要写书评

暂无评论

融合预训练技术的多模态学习研究专题前言

软件学报 2023年第5期34卷 1997-1999页

作者：宋雪萌聂礼强申恒涛田奇黄华山东大学计算机科学与技术学院山东青岛266237 哈尔滨工业大学(深圳)计算机科学与技术学院广东深圳518055 电子科技大学计算机科学与工程学院四川成都611731 华为技术有限公司广东深圳518129 北京师范大学人工智能学院北京100875

在当今信息爆炸的时代,海量多媒体数据涌现在互联网上.为更好地理解和分析多媒体数据,多模态学习逐渐成为研究热点.深度学习凭借其优秀的数据表征能力,成为多模态学习的主要技术之一.然而,现有的有标注数据集规模有限,往往难以保证复杂... 详细信息

在当今信息爆炸的时代,海量多媒体数据涌现在互联网上.为更好地理解和分析多媒体数据,多模态学习逐渐成为研究热点.深度学习凭借其优秀的数据表征能力,成为多模态学习的主要技术之一.然而,现有的有标注数据集规模有限,往往难以保证复杂深度学习模型的泛化能力,这给传统的多模态学习研究带来了巨大挑战.为此,预训练技术逐渐引发国内外诸多学者的关注,为多模态学习研究领域提供了新的发展机遇.专题强调多模态学习与预训练技术的深度融合,研究融合预训练技术的多模态学习,包括两方面:(1)利用预训练模型强大的通用表征能力,解决多模态学习领域研究相关的痛点、难点问题;(2)利用多模态学习领域丰富的理论积淀,促进预训练相关技术的发展.专题围绕多模态数据分析技术,通过探讨多模态学习与预训练技术的深度融合,重点关注面向多模态学习的预训练技术、融入预训练技术的多模态内容理解以及融入预训练技术的多模态生成,旨在有效结合多模态学习技术与预训练技术,实现多模态学习技术和预训练技术的相辅相成,促进多模态学习领域的研究发展.

关键词：深度学习深度融合预训练信息爆炸多媒体数据多模态学习表征能力互联网

发掘和利用:细粒度层次化网络的文本到图像生成

在线全文

学校读者我要写书评

暂无评论

中国科技论文 2023年第3期18卷 238-244页

作者：申恒涛赵启轲朱俊臣高联丽陈岱渊宋井宽电子科技大学计算机科学与工程学院成都611731 之江实验室杭州311121

针对现有文本到图像生成(text-to-image synthesis,T2I)方法采用冗余的阶段性网络结构,同时缺乏对文本特性有效利用从而影响网络完全收敛的问题,提出了一种细粒度的层次化生成对抗网络(generative adversarial networks,GAN)。该网络利... 详细信息

针对现有文本到图像生成(text-to-image synthesis,T2I)方法采用冗余的阶段性网络结构,同时缺乏对文本特性有效利用从而影响网络完全收敛的问题,提出了一种细粒度的层次化生成对抗网络(generative adversarial networks,GAN)。该网络利用多维度文本特征提取器充分地“发掘”(explore)文本语义特征;通过堆叠层次化模块,即空间仿射生成模块和累加结合模块,更好地“利用”(exploit)主干网络的生成性能。在3个基准数据集上的实验充分表明,所提方法在量化指标和可视化效果方面均显著领先于现有方法。实现代码已经公开在https:∥***/qikizh/EE-GAN。

关键词：跨模态生成文本到图像生成生成对抗网络层次化网络多维度文本特征提取器

Preface to special topic on AI algorithms and cases: to energize digital economy

在线全文

学校读者我要写书评

暂无评论

National Science Review 2023年第6期 7-8页

作者：徐宗本申恒涛胡事民 School of Mathematics and Statistics Xi'an Jiaotong University School of Computer Science and Engineering University of Electronic Science and Technology of China Department of Computer Science and Technology Tsinghua University

Since the turn of the century,innovations in science and technology have been in full swing across the globe.A new wave of scientific inventions and industrial transformations are constantly reshaping the economic structure of the world.At the forefront of this trend is the digitalization of industries.When combined with a new form of productivity such as artificial intelligence (AI),this wave of scientific and technological revolution is driving digital transformations and adoptions of smart devices throughout society.

关键词：

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

领域自适应研究综述

计算机工程 2021年第6期47卷 1-13页

作者：李晶晶孟利超张可鲁珂申恒涛电子科技大学计算机科学与工程学院成都611731 电子信息控制重点实验室成都610000

经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和数据分布,但在很多现实应用中这一假设通常并不成立,导致经典机器学习算法失效。领域自适应是一种新的机器学习策略,其关键技术在于通过学习新的特征表达来对齐源域和... 详细信息

经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和数据分布,但在很多现实应用中这一假设通常并不成立,导致经典机器学习算法失效。领域自适应是一种新的机器学习策略,其关键技术在于通过学习新的特征表达来对齐源域和目标域的数据分布,使得在有标签源域中训练的模型可以直接迁移到没有标签的目标域上,且不会引起模型性能的明显下降。介绍领域自适应的定义、分类和代表性算法,讨论基于度量学习和基于对抗学习的两类领域自适应算法。在此基础上,分析领域自适应的典型应用和现存挑战,并对其发展趋势及未来研究方向进行展望。

关键词：领域自适应迁移学习距离度量对抗学习单源域适应

在线全文

学校读者我要写书评

暂无评论

AI城市大脑助推智慧城市建设

人工智能 2021年第5期 84-92页

作者：张静然沈复民贾可徐行申恒涛电子科技大学计算机学院四川成都611731 电子科技大学四川成都611731 成都考拉悠然科技有限公司四川成都611731

目前,社会各界对城市环境和城市形象的关注度越来越高,传统的、被动式的城市治理模式已经难以满足信息化社会的需求,很大程度上制约了城市管理工作的高效运转。为形成本地AI生态产业链以服务城市新经济发展,考拉悠然打造OSMAGIC码极客... 详细信息

目前,社会各界对城市环境和城市形象的关注度越来越高,传统的、被动式的城市治理模式已经难以满足信息化社会的需求,很大程度上制约了城市管理工作的高效运转。为形成本地AI生态产业链以服务城市新经济发展,考拉悠然打造OSMAGIC码极客人工智能操作系统,该系统可以快速实现场景数据服务于算法训练,算法驱动场景应用,场景应用赋能数字化产业的完整链条。同时为打造“全面感知、准确判断、快速预警”的城市公共安全保障治理体系,在OSMAGIC码极客基础上,结合图像处理、场景感知和物体识别、行为分析等技术,研发一套智慧城市综合治理AI应用平台。考拉悠然智慧城市建设相关产品已成功应用到阿布扎比、合肥,以及宜宾等城市。

关键词：人工智能深度学习城市大脑 OSMAGIC人工智能操作系统社会治理