【拍摄理论】摄影机对Matchmoving运动匹配追踪精度的影响
- This topic has 8 个回复, 2 个参与人, and was last updated 5年， 1个月 前 by
.
-
-
大家好，我是茜茜，中秋月饼的味道飘了很远，浓浓香香，社区里依旧注册量爆棚。“风柔，雨润，花好，月圆，在中秋前一天，茜茜提前㊗️大家中秋快乐。
每天在使用的摄影机🎥，我们真的了解它，熟悉它吗？摄像机本身的参数对追踪有什么影响呢？
很多时候，电影、电视和VR的相机采集类型，以及各种相机因素和某些限制使得看似简单的Matchmoving（追踪匹配）需要花费更长的时间。
知识点回顾：Matchmoving（运动追踪匹配）是一种用于跟踪反求摄像机在物理场景中移动的技术，以便可以在工作站的三维软件内重建出与真实摄影机完全相同的虚拟摄像机。在视觉效果（VFX）中至关重要，用于整合并精确匹配CGI元素与实景板的视角。
推荐@追光大大这篇文章，简明的讲解了追踪的原理以及用处：
-
Camera Acquisition （相机采集方式）
电影摄像机或电影式摄像机通常具有高分辨率，高动态范围，具有RAW数据记录的大幅面传感器以及高帧速率，以及捕获高速运动的能力。这种类型的相机通常用于故事片，电视剧和商业广告，在采集技术方面具有非常高的地位。
使用行业标准的 positive lock （PL）镜头支架可以在不同的制造商生产的摄影机上使用相同的变焦参数。几乎所有电影风格的摄像机都能记录普通的UHD广播和DCI规范电影标准以及超过4K的非标准原始帧尺寸。
在过去的5年中，“Super 35”传感器已成为高端采集的标准，并成为在Matchmoving（运动追踪匹配）时最有可能遇到的格式。
通常你会在很多广告中看到“super 35”的身影，其电影胶片格式尺寸为：24.89mm x 18.66mm。但如果深入研究实际规格，将发现这仅仅是传感器平面的实际物理尺寸的近似值。虽然视野方面的细微差别对于相机操作员来说并不是非常重要，但对于VFX专业人员来说非常重要，例如：matchmovers（运动匹配师），compositors（合成师）和 3D artists（3D艺术家）。
在某些情况下，慢动作可能会导致匹配障碍。为了实现高帧率，一些相机系统必须对传感器进行窗口化，有效地对其进行裁剪以增加传感器读出性能，从而导致FOV（视野）减小。
也就是说，制造商中给出的测量值是传感器的物理尺寸，并不是用于拍摄给定格式的成像区域。选择不同的录制标准时可能会发生类似的情况/
例如：DCI 2k可能会使用传感器的成像区域而不是HD的的成像区域，这也意味着HD具有更窄的视野。
-
处理素材时要考虑的因素
图像解析度
图像分辨率定义素材或静止图像中的细节数量。现代高端电影摄像系统，如Red和Arri的系统，分辨率为6K甚至更高。
光学和传感器特性确实在最终记录的镜头的保真度中起作用。并非所有HD，4K相机都是相同的，有些使用像素分级和插值来达到给定的分辨率。
而知道这是如何工作并不重要，知道这可能会明显影响整体质量。
在下面的示例中，我同时拍摄了4K和720p HD的场景，注意到4K版本中石头工作的细节非常明显，而它们在720p高清镜头中消失了。
这对追踪质量有什么样的影响？
凭借高质量的镜头，高分辨率的图像我们可以非常容易的追踪。在低分辨率格式中本来会完全丢失的精细细节突然变成了丰富的可跟踪特征点。高分辨率并非没有它的缺点。除了会增加处理时间，需要更高性能的工作站。
我们可以在下面的例子中看到这一点：左手图像是HD剪辑的特征窗口，右边是UHD。
最终可以看到；盲目提高分辨率并不是一定会提升跟踪精度。柔化或校准不佳的光学元件会对素材产生类似的影响。
-
Dynamic Range（动态范围）
动态范围也是对成像起着巨大影响的因素。其最直观的解释：相机可以看到的光/亮度范围。你是否曾在阳光灿烂的日子里用手机拍照，为什么天空看起来成了白色，云层细节消失了？其实这是由于传感器同时能记录场景中最亮和最暗部分的能力，限制了我们能拍摄到完整的图像。
有些传感器比其他传感器更好地再现亮度范围。
在下面的示例中，先使用高清电影摄影机拍摄了相同的曝光设置，然后使用手机的高清视频模式拍摄（这里我们暂时忽略了缺乏锐度和景深差异）。我们可以看到手机拍摄的画面完全缺乏天空和屋顶的细节，而电影摄像机却完整的记录到了这些细节。（仔细看，还可以发现前景百叶窗与天空相交的地方的细节也完全消失了）
左图像使用Sony F3影院相机曝光，右图像使用手机拍摄这是因为电影摄像机传感器能够捕获场景中总亮度范围的1/3，而手机摄像头传感器最多只能捕获1/4。
未被传感器捕获的细节将在高光中被压缩剪切为白色，在阴影中则变为黑色。
重要的是要注意，镜头设置错误也会导致动态范围的损失。
我们来看看下面的另一个例子；请注意右侧图像阴影部分缺少可跟踪细节。
这对matchmoving（运动匹配）的影响如何？
良好的对比度对于匹配移动很重要，但不应该以牺牲细节为代价。虽然低动态范围场景在许多情况下仍然可以良好跟踪，但细节丰富的高动态范围场景可以使跟踪变得更加轻松，可以更快地得到想要的结果。
-
Rolling Shutter(快门卷帘，果冻效应)
网上有很多文章比我能更好地解释滚动快门的原因，社区内也对视频拍摄中的问题进行了各种整合：
我们可以看到滚动快门无处不在影响我们的画面。将手机设置为视频模式，将相机对准垂直表面，如门框。在手机保持稳定几秒钟的情况下录制，然后逐渐左右摇动手机，慢慢增加平移速度。回放视频时，会发现门框在增加平移速度时会倾斜，而不是完全垂直。下面是用手机摄像头拍摄的砖墙录像片段中的截图，可以非常清晰的看到卷帘快门对图片的影响。
大多数相机（特别是消费和半专业相机），受到卷帘门的影响会更加严重。
简单来说，它是由逐行读取传感器的图像引起的，当它到达底部时，相机方向略有变化。实际上，图像的顶部与底部记录、读取都在不同的时间点，当移动速度快的时候，同一帧记录的是不同时间点的混合图像。通过提高传感器读取图像的速度来大幅减少它。
这对matchmoving（运动匹配）的影响如何？
滚动快门是因为记录了移动的运动，当我们匹配移动镜头时，这会导致错误的结果。
滚动快门是一个需要修复的复杂问题，前景元素往往比背景更倾斜。然而像3DEqualizer，PFTrack这样先进的配对软件确实提供了一种解决方案来纠正或减少这种情况。
-
Image Noise（图像噪点）
使用照相手机在光线昏暗的环境中拍照时，照片看起来有点嘈杂且缺乏保真度，这是因为相机通过增加ISO来获得信号以达到足够的曝光水平。较低的ISO值通常意味着较低的噪点，而较高的ISO值则会增加噪点。
与消费级相机系统相比，高端电影摄影机和单反相机在这方面的表现要好得多。
当使用高ISO时，不可避免的会产生大量噪点，所以尽可能在Iso与噪点之间寻找一个平衡点。曝光不足会产生与高ISO相同的效果，从而产生更多的本底噪点。
在下面的示例中，我们可以看到拍摄的作物首先在800 ISO然后在3200 ISO曝光，注意精细细节被遮挡的速度有多快，并且当我们在整个范围内增加时，微观对比度都不足。
使用佳能C300拍摄
噪点对matchmoving（运动匹配）的影响如何？
在matchmoving（运动匹配）过程中噪点是一个大问题，特别是在照明不足的条件下跟踪由较小传感器的摄像机拍摄的画面。由于插值错误导致精细细节丢失，我们可以在上面的3200 iso样本中清楚地看到这一点。
过多的噪点会影响跟踪点的位置（尤其是自动跟踪时）以及跟踪的准确程度。
-
Compression（视频压缩）
你肯定遇到过这种情况，网络连接速度很慢的时候，会看到图像出现马赛克或者方块，甚至很难看清人的面孔？这就是压缩的结果。
在拍摄大量相机并使用高度压缩的编解码器记录素材的情况下，拍摄期间可能会发生类似的结果。大多数相机会提供拍摄时压缩编解码器的选项，以便在需要更长的录制时间时节省存储卡空间。POV（视点）相机经常使用高度压缩的编解码器进行录制。
现代高端广播编解码器几乎可以提供压缩视频与未压缩版本无法区分的图像，从而丢弃我们不需要的信息并保留最多的比特信息。然而有一些陷阱，这些压缩方式仅仅针对摄影机静止时候更有效。
在下面的手持式平移镜头示例中，使用高度压缩的AVCHD @ 28Mbps/3.5MB /s编解码器，同时使用相同的相机记录未压缩的来做一个比较。
在右边注意一些精细细节是如何通过压缩录制完全消失的。此外，边缘已经变得粗糙，并且在运动中观看时似乎跳舞并且抖动。
这对matchmoving（运动匹配）的影响如何？
相机运动是matchmoving（运动匹配）中的核心，并为软件提供精确解算，我们希望为其提供最高质量的镜头。然而，任何类型的运动都是压缩的最大敌人。
正如我们在上面的例子中看到的那样，这将呈现出细微细节周围的噪点和运动区域周围的宏观阻塞。一些视频编解码器将帧组合在一起，彼此比较仅存储和插入在帧之间已经改变的信息并且使用平均算法来表现细节。这样的镜头是非常难以追踪的。
但仍然可以使用压缩镜头进行匹配，并且可以提供足够可用结果，由于插值和压缩伪像导致的错误细节所产生的错误，可能会花费更长的时间。
在任何情况下，RAW数据记录总是优于压缩。
-
Spherical 360 video（球形360度 VR视频）
360视频由使用360度相机拍摄的视频组成，观看者可以自己往不同的方向观看来改变视角。这些视频可以通过CG在后期制作过程中进一步增强，就像传统的2D制作一样，但需要一些专业的匹配移动软件和工具集，如3DEqueliazer,PFTrack。
VR 360相机通常涉及两个或多个至少能够拍摄HD视频的相机，然后来自每个相机的剪辑在相机内部通过后期缝合在一起以形成可在桌面查看器或VR头戴式眼镜中可以观看的360度全景视频。
理光Theta V是一款典型的背靠背360 VR摄像头
常用的两种主要类型的VR摄像系统。背靠背支架只需两个光学镜头和传感器，或者两个独立的摄像机背靠背放置。这些系统的优点是视差小，尺寸小，易于使用，占地面积小，缺点是分辨率有限，再加上光学器件的性能比较有限，所以并不适合高端项目。
多凸轮装置与背靠背系统有许多相同的原理，其使用了更多摄像机来获得更好的视频质量。可以由多个电影摄影机组成，也可以作为带有许多集成传感器和光学元件的单个摄影机。
多相机系统提供的独特优势是由于存在更多数量的更高质量的相机，光学器件不必覆盖极端视角，这使得它们具有更少失真，像差，伸缩和柔化的影响。具有更大动态范围的更清晰的更高分辨率图像总是能在matchmoving（运动匹配）过程中提供更好的结果。
360视频的独特因素（（Unique factors with 360 video）
360相机系统可能会遇到与我们上面讨论过的问题相同的问题，但也有一些与此采集格式相同的其他问题。
Parallax（视差）
背对背和多相机系统都有一个共同的问题，那就是视差。这表现为沿着缝合线重叠细节的错误，并且随着靠近摄像机装置的物体而变得更加严重。为了获得完美的缝线，所有相机必须围绕光学器件的入射光角旋转。
然而这在物理上是不可能实现的，因为所有相机必须处于空间中绝对相同的位置。
我们可以在下面的框架中看到视差的影响，其中墙壁足够靠近摄影机，这是一个问题。这表现为沿着缝合线在墙上的细节已经错位。
然而，通过确保摄像机尽可能靠近中心轴平面并且拍摄支架远离需要跟踪的主体，可以最小化视差的影响。这在光学和传感器都内置在同一单元中的系统中非常容易实现。但为了缩小相机和传感器的尺寸，必须对图像质量做出妥协。
视差错误可能导致相机配准错误并在3D空间中不能精确的定位跟踪点。
Camera Synchronisation（相机同步）
对于某些VR 360摄像机装备，摄像机同步也是一个大问题。在测试过程中，使用了由两个独立摄像头组成的背对背VR系统。
进行大量的实验并努力与前后摄像头充分同步。虽然可以跟踪视频，但由于传感器时序的轻微差异，无法在拼接剪辑之间获得完美的同步。
由于相机之间的独立移动，这最终导致跟踪过程中的准确性误差。在下面的示例中，我们可以看到一个360度视频，调整左侧的进行对位，可以在右侧的缝合线上看到记录的错误同步。
由专业电影摄像机组成的更大的单壳多凸轮装置和钻机通过锁定信号和时间码来解决这个问题，这样可以将多个视角完整同步到一起，但即便如此，偶尔仍会不同步。
好啦，今天茜茜的教程就到这里啦，大家可以尝试一下，本教程由NewVFX社区根据实战经验总结汇编而来，不管对于前期还是后期追踪都非常由用～～。
如有疑问，可以跟帖留言会尽快回复噢。点击茜茜的头像可以查看更多精彩教程呢～
如果本教程对您有所帮助，点击我的头像，加我为好友，就可以看到我得更新啦，也可给我发私信，点击帖子顶部得收藏放入收藏夹，方便将来再次查看～
本帖未经允许不得转载，禁止二次转载，转载请注明出处并保留在本站的完整链接，谢谢^_^
-
- 在下方一键注册，登录后就可以回复啦。
工信部备