博客
关于我
ECCV18 Oral | MIT&谷歌视频运动放大让计算机辅助人眼“明察秋毫”
阅读量:106 次
发布时间:2019-02-26

本文共 939 字,大约阅读时间需要 3 分钟。

出处“来自微信公众号:我爱计算机视觉”

ECCV18 Oral | MIT&谷歌视频运动放大让计算机辅助人眼“明察秋毫”

原文:

本文来自ECCV 2018 选为Oral的论文《Learning-based Video Motion Magnification》,代码已开源,作者信息:

(欢迎关注“我爱计算机视觉”公众号,一个有价值有深度的公众号~)

什么是视频运动放大技术?
视频运动放大技术是一种从视频到视频的滤波处理,可以使我们能够看到在视频中肉眼看不到的小的运动,例如振动飞机机翼的动作,或者在风的影响下摇摆的建筑物等。这在衡量建筑物的结构健康程度和医疗环境中人体生命信号检测中有非常重要的应用。
由于这种运动往往很小,因此放大后的效果容易产生噪音或过度模糊。现有技术使用手工设计的滤波器来提取运动表示,往往不是最佳的。

在本文中,试图直接使用深度卷积神经网络从已有样本中学习滤波器。为了方便训练,该文仔细设计了一个人工合成的数据集,该数据集可以很好地捕捉视频中小的运动,用两帧图像作为输入就可以训练。
本文是第一个使用卷积神经网络在人工合成数据上学习运动放大滤波器的工作,实验证明经过学习得到的过滤器在真实视频上与之前的方法相比获得更高质量的视觉效果,明显减少了振铃伪像和噪声放大。

 

上图中原始视频的局部区域被截取出来,红色代表的是被放大的采样区域,波浪条纹代表着被放大的运动,原始图像看不出运动,中间的能看出波浪状的变形但有很明显的伪影,而右边使用本文方法的结果不仅波浪状变形被发现而且大大减少了伪影。
这是一个高速运动物体的例子,请看原始帧红色采样区域(请注意它非物体运动区域,不应该有运动)对应的算法处理结果,之前的方法出现了明显的伪影,而该文的方法则较好的保留了静止状态。

网络架构

数据合成方法

使用MSCOCO数据集中的200000幅图像做前景,使用PASCAL VOC数据集中7000个分割出的目标做背景,按照一定的运动系数、尺度系数等直接合成运动模拟图像。

处理结果示例:

论文:

https://arxiv.org/abs/1804.02684

代码已经开源:

https://github.com/12dmodel/deep_motion_mag

转载地址:http://uopz.baihongyu.com/

你可能感兴趣的文章
Mysql学习总结(76)——MySQL执行计划(explain)结果含义总结
查看>>
Mysql学习总结(77)——温故Mysql数据库开发核心原则与规范
查看>>
Mysql学习总结(78)——MySQL各版本差异整理
查看>>
Mysql学习总结(79)——MySQL常用函数总结
查看>>
Mysql学习总结(7)——MySql索引原理与使用大全
查看>>
Mysql学习总结(80)——统计数据库的总记录数和库中各个表的数据量
查看>>
Mysql学习总结(81)——为什么MySQL不推荐使用uuid或者雪花id作为主键?
查看>>
Mysql学习总结(82)——MySQL逻辑删除与数据库唯一性约束如何解决?
查看>>
Mysql学习总结(83)——常用的几种分布式锁:ZK分布式锁、Redis分布式锁、数据库分布式锁、基于JDK的分布式锁方案对比总结
查看>>
Mysql学习总结(84)—— Mysql的主从复制延迟问题总结
查看>>
Mysql学习总结(85)——开发人员最应该明白的数据库设计原则
查看>>
Mysql学习总结(8)——MySql基本查询、连接查询、子查询、正则表达查询讲解
查看>>
Mysql学习总结(9)——MySql视图原理讲解与使用大全
查看>>
Mysql学习笔记 - 在Centos7环境下离线安装Mysql
查看>>
MySQL学习笔记十七:复制特性
查看>>
Mysql学习第一课-mysql的定义及sql语句
查看>>
mysql学号的字符长度_MYSQL--2
查看>>
mysql安全模式: sql_safe_updates
查看>>
mysql安装,卸载,连接
查看>>
MySQL安装之没有配置向导
查看>>