检索结果-南通市图书馆

基于动态采样对偶可变形网络的实时视频实例分割

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

浙江大学学报（工学版） 2024年第2期58卷 247-256页

作者：宋一然周千寓邵志文易冉马利庄上海交通大学计算机科学与工程系上海200240 中国矿业大学计算机科学与技术学院江苏徐州221116

为了更好地利用视频帧中蕴含的时间信息,提升视频实例分割的推理速度,提出动态采样对偶可变形网络(DSDDN). DSDDN使用动态采样策略,根据前、后帧的相似性调整采样策略.对于相似性高的帧,该方法跳过当前帧的推理过程,仅使用前帧分割进行... 详细信息

为了更好地利用视频帧中蕴含的时间信息,提升视频实例分割的推理速度,提出动态采样对偶可变形网络(DSDDN). DSDDN使用动态采样策略,根据前、后帧的相似性调整采样策略.对于相似性高的帧,该方法跳过当前帧的推理过程,仅使用前帧分割进行简单迁移计算.对于相似性低的帧,该方法动态聚合时间跨度更大的视频帧作为输入,对当前帧进行信息增强.在Transformer结构里,该方法额外使用2个可变形操作,避免基于注意力的方法中的指数级计算量.提供精心设计的追踪头和损失函数,优化复杂的网络.在YouTube-VIS数据集上获得了39.1%的平均推理精度与40.2帧/s的推理速度,验证了提出的方法能够在实时视频分割任务上取得精度与推理速度的良好平衡.

关键词：视频实时推理实例分割动态网络对偶可变形网络

基于Trans-nightSeg的夜间道路场景语义分割方法

在线全文

学校读者我要写书评

暂无评论

浙江大学学报（工学版） 2024年第2期58卷 294-303页

作者：李灿林张文娇邵志文马利庄王新玥郑州轻工业大学计算机与通信工程学院河南郑州450000 中国矿业大学计算机科学与技术学院江苏徐州221116 上海交通大学计算机科学与工程系上海200240

针对夜间道路场景图像亮度低及缺乏带标注的夜间道路场景语义分割数据集的问题,提出夜间道路场景语义分割方法 Trans-nightSeg.使用TransCartoonGAN,将带标注的白天道路场景语义分割数据集Cityscapes转换为低光条件下的道路场景图像,两... 详细信息

针对夜间道路场景图像亮度低及缺乏带标注的夜间道路场景语义分割数据集的问题,提出夜间道路场景语义分割方法 Trans-nightSeg.使用TransCartoonGAN,将带标注的白天道路场景语义分割数据集Cityscapes转换为低光条件下的道路场景图像,两者共用同一个语义分割标注,丰富夜间道路场景数据集.将该结果和真实的道路场景数据集一并作为N-Refinenet的输入,N-Refinenet网络引入了低光图像自适应增强网络,提高夜间道路场景的语义分割性能.该网络采用深度可分离卷积替代普通的卷积,降低了计算量.实验结果表明,所提算法在Dark Zurich-test和Nighttime Driving-test数据集上的平均交并比(m IoU)分别达到56.0%和56.6%,优于其他的夜间道路场景语义分割算法.

关键词：图像增强语义分割生成对抗网络(GAN) 风格转换道路场景

基于薄板样条插值的弯曲笔触神经绘画与风格化方法

在线全文

学校读者我要写书评

暂无评论

中国科学：信息科学 2024年第2期54卷 301-315页

作者：唐波昊胡腾杜瑜桢易冉马利庄上海交通大学电子信息与电气工程学院上海200240

近年来,图像生成技术取得了令人瞩目的发展,目前的图像生成方法大多以像素填充的方式生成图像,缺乏艺术家逐笔绘制的过程,使其在局部笔触细节与纹理上与真实艺术作品有所不同.神经绘画致力于模仿人类艺术家以画笔为单位,逐笔绘制的作画... 详细信息

近年来,图像生成技术取得了令人瞩目的发展,目前的图像生成方法大多以像素填充的方式生成图像,缺乏艺术家逐笔绘制的过程,使其在局部笔触细节与纹理上与真实艺术作品有所不同.神经绘画致力于模仿人类艺术家以画笔为单位,逐笔绘制的作画过程.现有的神经绘画方法大多使用贝塞尔曲线或者笔触模板进行仿射变换来模拟真实笔触.然而,贝塞尔曲线纹理的缺乏以及仿射变换的线性性质,导致生成的笔触在纹理或者形状上存在较大的限制.为了更好地模拟真实笔触的纹理与形状,本文提出了新的基于薄板样条插值的弯曲笔触参数模型,通过对真实笔触模板先后进行弯曲与仿射变换,可以生成更加真实、多样的笔触图像.此外,本文提出了层次化的笔触优化方法,将整幅图像分解为由大到小的多个笔触,能够有效提升模型对图像整体架构与局部细节的绘画能力.最后,本文将提出的方法拓展至风格迁移中,实现了较好的风格迁移效果.定性与定量的实验表明,本文所提出的新的笔触模型与优化方法在神经绘画及风格化任务中都超越了已有的最佳模型.

关键词：神经绘画薄板样条插值弯曲笔触层次优化风格迁移

在线全文

学校读者我要写书评

暂无评论

融合注意力机制和结构线提取的图像卡通化

浙江大学学报（工学版） 2024年第8期58卷 1728-1737页

作者：李灿林王新玥马利庄邵志文张文娇郑州轻工业大学计算机与通信工程学院河南郑州450000 上海交通大学计算机科学与工程系上海200240 中国矿业大学计算机科学与技术学院江苏徐州221116

为了解决图像卡通化没有突出表达图像中的重要特征信息及边缘处理不足的问题,提出融合注意力机制和结构线提取的图像卡通化方法.构建融合注意力机制的生成器网络,通过空间和通道融合特征间的联系,从不同的特征中提取更加重要和丰富的图... 详细信息

为了解决图像卡通化没有突出表达图像中的重要特征信息及边缘处理不足的问题,提出融合注意力机制和结构线提取的图像卡通化方法.构建融合注意力机制的生成器网络,通过空间和通道融合特征间的联系,从不同的特征中提取更加重要和丰富的图像信息.为了更好地实现对卡通纹理的学习,设计与全局并行的线提取区域处理模块(LERM),以便对卡通纹理的边缘区域进行对抗性训练.该方法不仅在重要区域和细节方面生成了高感知质量的卡通化图像,而且避免了内容和颜色的损失.大量的实验结果表明,利用该方法取得了更好的卡通风格化效果,验证了该方法的有效性,.

关键词：生成式对抗网络图像卡通化注意力机制结构线提取边缘检测

Neighborhood co-occurrence modeling in 3D point cloud segmentation

在线全文

学校读者我要写书评

暂无评论

Computational Visual Media 2022年第2期8卷 303-315页

作者： Jingyu Gong Zhou Ye lizhuang ma Department of Computer Science and Engineering Shanghai Jiao Tong UniversityShanghai 200240China Shanghai CLS Fintech Co. LTDShanghai 200030China MoE Key Lab of Artificial Intelligence Shanghai Jiao Tong UniversityShanghai 200240China

A significant performance boost has been achieved in point cloud semantic segmentation by utilization of the encoder-decoder architecture and novel convolution operations for point ***,co-occurrence relationships within a local region which can directly influence segmentation results are usually ignored by current *** this paper,we propose a neighborhood co-occurrence matrix(NCM)to model local co-occurrence relationships in a point *** generate target NCM and prediction NCM from semantic labels and a prediction map ***,Kullback-Leibler(KL)divergence is used to maximize the similarity between the target and prediction NCMs to learn the co-occurrence ***,for large scenes where the NCMs for a sampled point cloud and the whole scene differ greatly,we introduce a reverse form of KL divergence which can better handle the difference to supervise the prediction *** integrate our method into an existing backbone and conduct comprehensive experiments on three datasets:Semantic3D for outdoor space segmentation,and S3DIS and ScanNet v2 for indoor scene *** indicate that our method can significantly improve upon the backbone and outperform many leading competitors.

关键词： 3D vision point cloud co-occurrence relation modeling semantic segmentation

mask-aware photorealistic facial attribute manipulation

在线全文

学校读者我要写书评

暂无评论

Computational Visual Media 2021年第3期7卷 363-374页

作者： Ruoqi Sun Chen Huang Hengliang Zhu lizhuang ma Shanghai Jiao Tong University Shanghai 200240China Robotics Institute Carnegie Mellon UniversityPittsburghPA15213USA

The technique of facial attribute manipulation has found increasing application,but it remains challenging to restrict editing of attributes so that a face’s unique details are *** this paper,we introduce our method,which we call a mask-adversarial autoencoder(M-AAE).It combines a variational autoencoder(VAE)and a generative adversarial network(GAN)for photorealistic image *** use partial dilated layers to modify a few pixels in the feature maps of an encoder,changing the attribute strength continuously without hindering global *** training objectives for the VAE and GAN are reinforced by supervision of face recognition loss and cycle consistency loss,to faithfully preserve facial ***,we generate facial masks to enforce background consistency,which allows our training to focus on the foreground face rather than the *** results demonstrate that our method can generate high-quality images with varying attributes,and outperforms existing methods in detail preservation.

关键词： face attribute manipulation generative adversarial network(GAN) variational autoencoder(VAE) partial dilated layers photorealism

在线全文

学校读者我要写书评

暂无评论

基于关联事件场的智能化仿真社会实验方法

图学学报 2024年第1期45卷 191-198页

作者：陈玉珑张志忠马利庄叶淑兰陈敏刚上海交通大学电子信息与电气工程学院上海200240 华东师范大学计算机科学与技术学院上海200062 华东师范大学政治与国际关系学院上海200241 上海计算机软件技术开发中心上海201112

智能化进程正在迅速推动数字中国建设,不断改变相关社会和人文形态,同时引发了人工智能涉及的社会衍生风险等关键问题。在遵循社会伦理和隐私保护前提下,前瞻性探索新型人工智能社会实验模式,规范人工智能技术的发展,具有重要的现实意... 详细信息

智能化进程正在迅速推动数字中国建设,不断改变相关社会和人文形态,同时引发了人工智能涉及的社会衍生风险等关键问题。在遵循社会伦理和隐私保护前提下,前瞻性探索新型人工智能社会实验模式,规范人工智能技术的发展,具有重要的现实意义。探讨了在特定社会实验环境下的事件场构建方式方法,以及人物、行为和场景三者的关联关系,基于数据和实验的社会化传导模式以及社会衍生效应进行预测。尝试通过前瞻性的虚拟仿真博弈实验,验证智能化仿真社会实验模式的有效性,为政府提供前瞻性的决策工具和智慧管理建议。

关键词：仿真实验事件场数字化身情感计算

基于强化和模仿学习的多智能体寻路干扰者鉴别通信机制

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2024年第8期41卷 2474-2480页

作者：李梦甜向颖岑谢志峰马利庄上海大学影视工程系上海200072 上海大学上海电影特效工程技术研究中心上海200072 上海交通大学计算机科学与工程系上海200240

现有的基于通信学习的多智能体路径规划(multi-agent path finding,maPF)方法大多可扩展性较差或者聚合了过多冗余信息,导致通信低效。为解决以上问题,提出干扰者鉴别通信机制(DIC),通过判断视场(field of view,FOV)中央智能体的决策是... 详细信息

现有的基于通信学习的多智能体路径规划(multi-agent path finding,maPF)方法大多可扩展性较差或者聚合了过多冗余信息,导致通信低效。为解决以上问题,提出干扰者鉴别通信机制(DIC),通过判断视场(field of view,FOV)中央智能体的决策是否因邻居的存在而改变来学习排除非干扰者的简洁通信,成功过滤了冗余信息。同时进一步实例化DIC,开发了一种新的高度可扩展的分布式maPF求解器,基于强化和模仿学习的干扰者鉴别通信算法(disruptor identifiable communication based on reinforcement and imitation learning algorithm,DICRIA)。首先,由干扰者鉴别器配合DICRIA的策略输出层识别出干扰者;其次,在两轮通信中分别完成对干扰者与通信意愿发送方的信息更新;最后,DICRIA根据各模块的编码结果输出最终决策。实验结果表明,DICRIA的性能几乎在所有环境设置下都优于其他同类求解器,且相比基线求解器,成功率平均提高了5.2%。尤其在大尺寸地图的密集型问题实例下,DICRIA的成功率相比基线求解器甚至提高了44.5%。

关键词：多智能体路径规划强化学习模仿学习干扰者鉴别通信

Digital image inpainting by example-based image synthesis method

在线全文

学校读者我要写书评

暂无评论

High Technology Letters 2006年第3期12卷 276-282页

作者：聂栋栋 ma lizhuang Xiao Shuangjiu Computer Science ＆ Engineering Department Shanghai Jiaotong University Shanghai 200240 P.R. China School of Software Shanghai Jiaotong University Shanghai 200240 P. R. China

A simple and effective image inpainting method is proposed in this paper, which is proved to be suitable for different kinds of target regions with shapes from little scraps to large unseemly objects in a wide range of images. It is an important improvement upon the traditional image inpainting techniques. By introducing a new bijeetive-mapping term into the matching cost function, the artificial repetition problem in the final inpainting image is practically solved. In addition, by adopting an inpainting error map, not only the target pixels are refined gradually during the inpainting process but also the overlapped target patches are combined more seamlessly than previous method. Finally, the inpainting time is dramatically decreased by using a new acceleration method in the matching process.

关键词： inpainting image synthesis texture synthesis prority matching cost function example patch isophote diffusion