【3DEqualizer】摄像机反求镜头模型库 Science-D-Visions

› VFX大学 › PFtrack,3DEqualizer,Mocha追踪 › 【3DEqualizer】摄像机反求镜头模型库 Science-D-Visions

标签： 

正在查看 23 条回复
  • 作者
    帖子
    • 2019-09-05 - 08:52 #67789

      追光
      参与者
      机构认证

      早上好，我是追光，根据我们之前的教程我们知道摄像机反求中的核心之一：摄像机与镜头反求，以期待在后期建立一支与前期拍摄🎬时一模一样的一台摄影机，与前期电影拍摄的摄影机有着相同的焦段，感光器（胶片），安装着同样的镜头，并且有着完全一样的畸变。

      在后期建立一支与前期影片拍摄完全一致的摄影机有什么意义呢？

      后期建立一支与前期完全一致的摄影机，针对合成的意义：通过后期摄影机拍摄三维场景、或者合成素材可以与前期拍摄到的结果一致，在合成时候可以更加真实，其更重要的意义是通过反求，重新还原前期影片拍摄时候的场景，这样真实摄影机拍摄与后期摄影机🎥拍摄可以任意交换衔接。我们所熟悉的《魔戒》，《阿凡达》《变形金刚》《阿丽塔》等影片即是这样创作的。

      其最终目的：AR，混合现实，将现实中的事物与CG完整的融合在一起，并无限接近于真实，让人无法区分真实与虚拟CG之间的区别。

      下面是3DEqualizer4的镜头对象集合。 此数据库将经常扩展，如果你有新的镜头模型文件，欢迎发布上来共享哦（发布的时候，在编辑器窗口点击代码，将你计算好的镜头模型文件中的内容粘贴上即可）。

      To import a 3DE4 lens file into your project, please select “3DE4 > File > Import > Import Lens…” and browse for the lensyou like to import.

      导入镜头模型文件到3DE4工程中，可以这样操作 “3DE4 > File > Import > Import Lens…“

      镜头模型包含的参数：定焦镜头（如：50mm镜头）畸变参数，对焦距离发生变化的畸变参数；可变焦段镜头（如：18-80mm镜头）的畸变参数。

      使用注意事项：镜头可能会安装在不同型号的摄影机上，Film Back的参数需要根据具体使用的摄影机型号手工输入。在不知道的情况下，可以追踪并解算后，将Filmback设置为Adjust，由3DE自动进行解算。

      本篇内容中提供了两个版本的文件：

      1、在线版本的可以在你的工作站上新建一个.txt 文本文件，然后将镜头模型数据粘贴进去，然后执行导入到工程即可。

      2、也可以在这里下载已经制作好的镜头模型文件，直接导入3DEqualizer即可：

      【3DEqualizer】Arri Alexa 摄像机反求镜头模型Science-D-Visions下载

      Lens Focal Length 3DE Distortion Model Distributed by

      Camera Model(镜头模型): Arri Alexa. Lens Manufacturerr(镜头生产商): Angenieux

      HR
      25-250mm
      		 3DE Classic LD Model Misho Ristov
      Optimo 15-40mm
      3DE Classic LD Model
      		 Misho Ristov
      Optimo 17-80mm 3DE Classic LD Model Misho Ristov

       

      Camera Model(镜头模型): Arri Alexa.   Lens Manufacturer(镜头生产商): Arri

      Ultra Prime
      12mm
      		 3DE Classic LD Model Misho Ristov
      Optimo 16mm
      3DE Classic LD Model
      		 Misho Ristov
      Optimo 20mm 3DE Classic LD Model Misho Ristov
      Optimo 24mm 3DE Classic LD Model Misho Ristov
      Optimo 32mm 3DE Classic LD Model Misho Ristov
      Optimo 40mm 3DE Classic LD Model Misho Ristov
      Optimo 50mm 3DE Classic LD Model Misho Ristov
      Optimo 85mm 3DE Classic LD Model Misho Ristov
      Optimo 100mm 3DE Classic LD Model Misho Ristov
      Optimo 135mm 3DE Classic LD Model Misho Ristov
      Optimo 180mm 3DE Classic LD Model Misho Ristov

       

      Camera Model(镜头模型): Red Epic-M. Lens Manufacturerr(镜头生产商): Arri

      Alura
      18-80mm
      		 3DE Classic LD Model Misho Ristov
      Alura 45-200mm
      3DE Classic LD Model
      		 Misho Ristov

      好啦，今天的教程就到这里了，如有疑问，可以跟帖留言，追光会尽快回复噢。

      如果喜欢追光的帖子，点击我的头像，加我为好友，就可以看到我得更新啦，也可给我发私信，点击帖子顶部得收藏放入收藏夹，方便将来再次查看～

      本帖未经允许不得转载，禁止二次转载，转载请注明出处并保留在本站的完整链接，谢谢！

    • 2019-09-05 - 09:09 #67793

      追光
      参与者
      机构认证

      Angenieux_HR_25-250mm

    • 2019-09-05 - 09:15 #67795

      追光
      参与者
      机构认证

      Angenieux_optimo_15-40mm

    • 2019-09-05 - 09:17 #67796

      追光
      参与者
      机构认证

      Angenieux_optimo_17-80mm

    • 2019-09-05 - 09:22 #67798

      追光
      参与者
      机构认证

      Arri_UP_12mm Camera Model(镜头模型): Arri Alexa.   Lens Manufacturer(镜头生产商): Arri

    • 2019-09-05 - 09:23 #67799

      追光
      参与者
      机构认证

      Arri_UP_16mm

       

    • 2019-09-05 - 09:24 #67800

      追光
      参与者
      机构认证

      Arri_UP_20mm

    • 2019-09-05 - 09:25 #67801

      追光
      参与者
      机构认证

      Arri_UP_24mm

    • 2019-09-05 - 09:26 #67803

      追光
      参与者
      机构认证

      Arri_UP_32mm

    • 2019-09-05 - 09:27 #67804

      追光
      参与者
      机构认证

      Arri_UP_40mm

       

    • 2019-09-05 - 09:28 #67805

      追光
      参与者
      机构认证

      Arri_UP_50mm

    • 2019-09-05 - 09:30 #67806

      追光
      参与者
      机构认证

      Arri_UP_85mm

    • 2019-09-05 - 09:30 #67807

      追光
      参与者
      机构认证

      Arri_UP_100mm

    • 2019-09-05 - 09:31 #67808

      追光
      参与者
      机构认证

      Arri_UP_135mm

    • 2019-09-05 - 09:34 #67809

      追光
      参与者
      机构认证

      Arri_UP_180mm

    • 2019-09-05 - 09:35 #67810

      追光
      参与者
      机构认证

      Alura 18-80mm Lens

    • 2019-09-05 - 09:37 #67811

      追光
      参与者
      机构认证

      Alura 45-250mm

    • 2019-09-20 - 12:02 #68146

      yutianyuxin
      参与者
      军士

      问题：该系列数据是基于哪种原始拍摄模式？

      比如：6:5Mode 下的4K 2.6K 2K? 还是4:3Mode下的2.8K? 还是16:9Mode下的4K 3.2K 2.8K 2K?

      建议提供时标注具体拍摄模式信息。

      • 2019-09-20 - 14:00 #68147

        追光
        参与者
        机构认证

        问题提的比较好，刚好补充下：摄像机机身反求与镜头反求是两个部分，这部分的数据仅仅是镜头数据。

        摄影机反求是个比较广泛的概念，在3DEqualizer或者PFtrack中镜头反求涉及：摄影机机身反求，镜片光学反求，镜头模型反求、运动轨迹反求，均是独立的。

        在影片具体拍摄的过程中，同一组镜头经常会用在不同的摄影机机身上（摄影机与镜头是完全独立的部件）。在反求的时候仍然可以正常使用本贴中的镜头数据，而只要对机身进行具体型号摄影机的设定即可。

        不管是使用哪种摄影机机身，不管是2k、4K还是6K模式下模式，属于机身的设置参数与镜头部分是没有直接关联的。

        不管使用哪种摄影机拍摄，使用同一只镜头，镜头本身的性能参数是常量，所以本帖中提供的是针对镜头本身的综合变量的常量，是可以直接使用的。

        特殊说明：唯一的变量就是世上没有两只相同的镜头（从镜片而言），同型号的镜头也会存在微细的误差，所以要做到更加精确就需要针对某只镜头做反求，从成本与效率而言，使用本帖中的参数更快～～哈哈，

        非常感谢🙏提出的问题，遇到在思考，探讨这些方面问题的伙伴，的确不易～～

    • 2019-09-23 - 08:51 #68193

      yutianyuxin
      参与者
      军士

      抛开同型号镜头细微差别。只说单独的某个组合：比如 arri alexa与UP 16mm搭配拍摄的一组畸变网格图。分别在相同mode下的4K和2.8K模式下拍摄畸变网格，在物理层面上，对应感光底片相同位置上的畸变形态没有区别，也就是相同物理位置的畸变数值不会变。但是他们对应的感光底片范围却不同。

      也就是说，在4K模式下拍摄的畸变底图，完全可以通过等比裁剪图片的方法获得2.8k或其它模式下的畸变图（前提是filmback数值也是等比变化的）。

      基于以上：相同mode下拍摄的4K图片可以通过等比裁剪的方式获得2.8K，但是他们在软件里对应的畸变数值却完全不同。原因是畸变数值的计算方式并不考虑分辨率大小，所有分辨率在它眼里都被换算成0-1坐标系和aspect这两组数值，也就是说，相同mode下的4K和2.8K在相同的0-1坐标值下，对应在感光底片上的位置是不同的。这也就造成了畸变数值的不同。

      然后。

      我们获得一个lens的txt文件，比如楼主提供的告知是arri alexa与UP 16mm的组合。从txt中获得filmback数值为2.38 x 1.34 cm。理论上这个lens只能运用到相同filmback下拍摄的镜头。如果换做不同模式下的镜头，比如3200 x 1800 3.2K 2.640  x 1.485 cm，那该lens就无法使用了。

      很开心遇到可以探讨的伙伴，我们的讨论其实主要是讲给其他正在学习中的小伙伴们。对吧！

      • 2019-09-23 - 09:40 #68194

        追光
        参与者
        机构认证

        这篇探讨太有必要了，也非常重要，而且探讨来得非常及时🤝：

        将机身与镜头概念混淆在一起，这是基本上所有追踪师都很容易出的问题。Film Back不属于镜头模型参数，属于摄影机参数。

        从镜头的角度而言，不管使用哪种摄影机，镜头畸变的参数都不会发生改变。例如：一块凸透镜，在凸透镜生产好后，其畸变参数就已经固定了，这里的镜头模型参数就相当于凸透镜的畸变参数，是恒定的，属于常量。

        唯一会影响镜头模型的畸变参数发生变化的因素：对焦距离的变化。（以上镜头模型参数重已经包含对焦步长变化，而产生的变化）

        顺道提一下，如何反求一只镜头变焦时候，产生的畸变？

        【3DEqualizer教程】使用网格校正镜头对焦过程畸变（视频详解）

        图中可以看出：Film Back大小，裁切了镜头成像焦点的大小（底片大小），也就是裁切了整块镜头模型的部分进行记录。

        试想这样一个场景：凸透镜放在太阳光下聚焦（摄影机对焦）到一张纸上，在同一片镜头上，聚焦点是不是一样的？答案是肯定的。 而不同的摄影机型号（相当于那张纸），只是将聚焦好的点裁切成不同的大小的矩形（Film Back）并记录下来，不管是2K，4K还是8K，都不会对凸透镜造成物理变化。

        关于镜头参数与摄影机参数的区别，与独立性

        此参数可以用在使用这只镜头的任何摄影机上，导入参数后，根据摄影机型号，手工输入Film Back即可。（相对于镜头而言，Film Back属于变量）

        在已知Film Back、成像大小（2k、4k…），lens Model（畸变与焦段、焦距），6个以上追踪点运动轨迹的情况下，即使手工计算也可以计算出实际裁切的范围啦～～，而这些参数对于追踪系统而言是自动进行计算的。

        即使在没有任何参数的情况下，追踪系统也可仅使用追踪点的参数进行所有数据的反求，只是计算周期较慢，且精度并不总是可靠。追踪系统内有多种算法，而使用哪些核心算法，取决于已知参数的精确度与数量。

        Film Back是什么？也就是胶片底的大小（此参数由摄影机型号决定，影响最终成像），可以参看这篇：

        【PFTrack教程】Film Back 在影视追踪中的重要性

        使用此参数的注意事项：Film back参数（Film Width，Film Height），需要根据摄影机🎥型号手工输入。

        小技巧：在不知道摄影机型号的情况下在追踪出点并解算摄影机后，将参数改为求解（Adjust），3DE会根据镜头模型自动求解Film Back。

        做摄像机反求：镜头模型与摄影机是两个物理部件，分开来看。

        要分清楚在追踪软件的参数中：哪些参数是镜头参数，哪些参数是摄影机参数。

        提示：镜头模型数据含：镜头呼吸畸变，镜头畸变，镜片在各个层面的物理变化，不含Film back之类和机身相关的参数。

    • 2019-09-23 - 12:17 #68222

      yutianyuxin
      参与者
      军士

      其实可以单独开一个帖子详细讲述相机和镜头物理与软件的参数了。

      （文中软件为3DE）

      我知道filmback属于camera属性，也就是当前拍摄素材在感光底片上的成像范围。

      只是我们在3dequalizer中的distortion数值有好多种不同参数，尤其是在degress4和6模式下，distortion的每个细分参数都是基于把画面划分为uv(0-1)坐标系不同的坐标值对应的不同参数。而不同坐标值的成像通过镜片折射到感光底片上。

       

      举例说明吧：

      为方便做对比，我们的例子是同一组相机和定焦镜头组合下不同模式拍摄，这样的话，通过镜头落在感光底片上的成像偏移（distortion）是固定的。

      拍摄素材1：2880 x 1620 2.8K 23.76 mm x 13.37 mm

      拍摄素材2：3200 x 1800 3.2K 26.40 mm x 14.85 mm

      他们的分辨率和filmback刚好成正比，图片分辨率没有谈及的必要，我们只看filmback本身。素材的filmback会被软件换算为uv(0-1)坐标系，分别在素材1和2取相同数值的坐标（u, v），该坐标(u, v)因为素材filmback的不同，对应在感光底片上的位置也不同。即，素材1的（u, v）对应感光底片的(u1, v1)位置，素材2的（u, v）对应感光底片的(u2, v2)位置。即理论上素材1的（u1, v1）和素材2的(u2, v2)位置的distortion数值是一致的，因为他们是通过镜头的相同位置折射落在感光底片的相同位置。

      而在软件中distortion的数值计算是源于当前素材各坐标值的偏移程度，即在软件里两套素材的相同坐标值（u, v）却是对应感光底片的两个不同的位置。所以，两者在软件里的distortion参数是无法共享的。

      说白了就是因为不管多大filmback都被统一换算成了（0-1）坐标系，不同的拍摄模式，参考系是不同的。而基于不同的参考系，在相同坐标值下distortion数值也就不一样了。

      结果就是，如果是以上两套素材，他们的lens TXT无法共享。

       

       

      另外，为什么我上传不了图片。

      • 2019-09-23 - 13:58 #68224

        lemons1222
        参与者
        军士

        学术讨论是相对严谨的 所有基础人员应具备的  认认真真仔仔细细看完了两位大佬不同的解释，很精彩。一旦出现两种以上看起来都专业有道理的理论后， 这时候我们这些小白就会迷茫了，能不能简单通俗点比如：是否可以直接在设备生产商官网查询到拍摄时候使用的设备信息 将查询到的值输入软件里，以此来简化步骤 提升小白过多的理论认识误区。

        • 2019-09-23 - 14:37 #68228

          追光
          参与者
          机构认证

          这个过程中，我们一直在摸索的是，即使不是很明白哪个参数，半自动化或全自动化来完成这些工作。哈哈～～，VFX工业流程来自于发达国家地区，可以学习他们的地方就是标准化，流程化。

          我们在探讨的问题就是如何让小白快速上手的方式

          3de的下个版本，读取原始镜头每一帧信息这个，小期待一下～～

          刚开始的这里有操作实例，按照下方教程流程一步一步操作一个最简单基础的镜头畸变矫正即可，上手实际做一遍，会理解得更深。

          【3DEqualizer教程】如何使用网格校正定焦镜头畸变（视频详解）

          我们现在存在的许多问题就是：每次都要重新做一遍重复的工作，而没有把更多资源投入到创作方面去，而且出现的问题可谓千奇百怪，不说是有镜头模型了，有个棋盘格或者色卡都是奢望。

          包括在绿幕拍摄方面，也没有标准，本来30分钟就可以干完的东西，可能要头疼一两星期。哈哈～～，这也是做这个社区的初衷。

          一点一点地完善这方面的知识。

      • 2019-09-23 - 14:08 #68225

        追光
        参与者
        机构认证

        图片上传有大小限制（小于512k）～～
        这个问题牵涉的领域非常的多～～，会涉及到若干种情况以及对镜头模型数据的应用这方面的东西，将来逐步完善。

        还有一点，镜头模型是针对某个模型的常量，但是这个常量是由无数变量组成的，也就是镜头模型可能每个参数都是带了关键帧信息的动态数据，而驱动这些动态数据的信息来源与方法，都不是安装版的3de所具有的功能，由其他若干别的需要协同的外部python脚本完成，包括镜头模型数据精确快速传递到各个软件、系统，包括在shotgun，Ftrack等流水线上的应用等都不是3de自带的功能，将来陆续发布上来～～

        在下个版本的3DEqualizer中，应该可以支持直接识别并自动读取相机上每一帧的镜头信息，目前通过脚本可以实现从exr自动读取meta信息～～，我想驱动动态数据就方便了。

        对镜头模型的数据应用，在实际应用中也不是导入就结束了，导入才是一个真正的开始，至于具体怎么用也涉及得很多，像下面这个例子：1、在追踪精度始终无法提升的条件下。2、开始导入镜头模型，而使用后发现甚至更不准了。3、如何对这组数据进行科学应用，最终将追踪精度达到0.3–0.6之间的过程：

        【3DEqualizer教程】如何使用网格校正Gopro镜头畸变（流程详解）

        【3DEqualizer教程】使用镜头数据校正对焦镜头呼吸（视频详解）

        对于VFX流程而言，每个环节都是标准化的，前期使用什么镜头，相机，使用哪些格式（比如使用red的话，压缩比设定，分辨率，追踪场景预备）都是有着严格要求的。在没有相对规范的标准下，本来不该出现的情况反复出现～～，我们可以尝试制定一个规范来标准化前后期的标准，在一个标准下进行探讨，或许也能帮助更多人，😄

        另外此组镜头模型数据来源于3DEqualizer核心开发者，提供给ILM，Weta等工作室使用的～～，仔细分析里面的数据，是相对的动态数据噢～～，当然可以根据不同情况编辑txt来进行修改。

        或许在此探讨基础上，制定一个符合国内的标准流程，业余共同来完善这些，建立一个pipeline的基本标准：（主流机型、分辨率、镜头模型参数、摄影机数据规范之类的）。

    • 2019-09-23 - 14:48 #68231

      yutianyuxin
      参与者
      军士

      @lemons1222

      3DE官网有相关现成的lens TXT数据，勤劳的@追光同学已提供。但是这些数据仅限于某个特定的硬件组合以及特定的拍摄模式下。之所以提供这些，是因为该数据是影视拍摄常用的大概率拍摄模式，所以可以大概率使用。我举得基于不同拍摄模式下的例子毕竟是小概率事件。但大家明白其中原理即可。知其然知其所以然嘛。

      @追光

      基于3DE的undistortion源算法其实在官网和托管网站上是可以找到的。但是我们的大环境并不具备足够的成本和条件去搭建和运算。好在我们有Python大法，在完全了解其原理后可以通过各自换算，从而实现不同filmback模式下的无缝衔接。

      多说一点，很多时候需要在现场拍摄畸变网格图。有一个技巧可以引用一下。

      比如arri_alexa_sxt相机，我们可以从arri官网得知如下数据：

      6:9 Mode
      3840 x 2160 4K UHD 26.40 mm x 14.85 mm (1.039 in x 0.585 in)
      3200 x 1800 3.2K 26.40 mm x 14.85 mm (1.039 in x 0.585 in)
      3168 x 1782 3.2K 26.14 mm x 14.70 mm (1.029 in x 0.579 in)
      2880 x 1620 2.8K 23.76 mm x 13.37 mm (0.935 in x 0.526 in)
      2048 x 1152 2K 23.76 mm x 13.37 mm (0.935 in x 0.526 in)
      1920 x 1080 HD 23.76 mm x 13.37 mm (0.935 in x 0.526 in)

      其中有好几项是完全等比例变化的，即相同感光底片范围下单纯的增加分辨率，该选项可以忽略(比如第1/2项相同，以以及第4/5/6项相同)。

      而传统拍摄模式应用最多的是

      2880 x 1620 2.8K 23.76 mm x 13.37 mm (0.935 in x 0.526 in)
      2048 x 1152 2K 23.76 mm x 13.37 mm (0.935 in x 0.526 in)

      如果当前项目刚好应用的是第4或5项，我们在采集完当前模式的undistort数据后，尽量采集第1/2项数据，它是当前模式下最完整的选项。有了最完整的那套数据，我们完全可以在合成软件里通过filmback换算crop裁剪出剩余所有选项的底图，进而在3DE或其它undistortion工具中各自计算对应的distortion数据。

    • 2019-09-23 - 15:06 #68232

      追光
      参与者
      机构认证

      非常好，哈哈～～收获颇多～～，从这份探讨中，收获非常大。@yutianyuxin 提供的思路与思考也是非常到位的，非常深入～～。遇到这方面能探讨的人，也是很幸会～～

      追踪是学起来最快，深入起来最难的一个工作，“追踪容易，追准难。”，唯独追踪这份工作，涉及到的面最广～～而且是全方位的，涉及到前期、后期、也涉及到2d、3D、VR、三维等方面。

      把镜头模型数据重新整理过来并发布上来时候花了许多时间，VFX技术始终来自于国外，吸收他们的东西，并消化成自己的经历了漫长的时间。3de与PFtrack同时用很容易让人错乱，社区里有一篇以PFtrack的方式来使用3de的流程：

      【3DEqualizer教程】 (Manual Tracking)手动跟踪流程指南

      追踪是将现实与虚拟、或者现实与现实跨时空缝合的工作，非常有意思～～，追踪也是整合影视产业、动画产业、游戏产业的核心。

      3dequalizer很多人没听过，你很棒～～有问题，可以随时发上来我们一起解决～～哈哈🤝

    • 2019-09-23 - 16:10 #68237

      yutianyuxin
      参与者
      军士

      嘿嘿！我们不仅是vfx的搬运工。

      必须摒弃按部就班的思维，相信好多人对于各软件的基础知识都容易掌握，但是在原理层面上深度思考是大多人欠缺的。不仅仅是跟踪领域，合成，三维，特效，很多东西在软件基础层面上的运用都不是难事。但是在原理上，物理上，算法上如果能多想一些。会有不一样的天地哦。

      跟踪的小群体不容易，多探讨多奉献让更多人看到学习到才是正道。

    • 2019-09-26 - 13:33 #68294

      lemons1222
      参与者
      军士

      受益匪浅！

      不会@人   哈哈 感觉好笨（偷笑）

  • 作者
    帖子
正在查看 23 条回复
  • 在下方一键注册，登录后就可以回复啦。
error: 提示：内容受到保护!!
-->