使用Truenas 构建影视级磁盘阵列集群存储的方法
› VFX大学 › VFX Pipeline | 数字创意工作流 › 使用Truenas 构建影视级磁盘阵列集群存储的方法
-
作者帖子
-
-
2022-07-07 - 22:55 #87779
大家好,我是追光,在我们的影视制作工作室、视频生产工作流程中,消耗最大、用量最多的就是硬盘,大量拍摄的视频素材、预渲染素材,三维制作素材以及备份,都会消耗掉大量硬盘空间,尤其当代,4K、8K、Raw拍摄的进一步普及,对存储提出了更高的要求,远不是常规的几张大容量硬盘所能满足的。我们需要的是高速、大容量、以及能够快速安全备份的存储器。
大规模磁盘阵列在影视生产环境中早已成了必备的设备,但这些阵列造价高昂,维护成本也相对较高。这里我给大家带来的是使用一台电脑自建阵列存储的方法,造价极低,性能以及安全性、使用的便利程度,不输给工业级磁盘阵列。当然使用这套系统构建的商业大规模磁盘阵列也运行在世界各地的数据中心。
通过构建一套磁盘阵列存储系统,支持让Mac、Win、Linux同时使用存储系统中的某个文件夹,实现混合系统环境中视频素材共用,在集群渲染中也可以用来快速协同渲染,并能简单高效的通过磁盘快照、系统快照来备份、恢复文件,还可以自动镜像备份素材,即使阵列中某些硬盘坏了,也不会损失数据。
TrueNAS是一款开源网络存储系统,前身是FreeNAS系统,其目前有三个版本,分别是TrueNAS CORE、TrueNAS ENTERPRISE、TrueNAS SCALE;本文介绍的是TrueNAS CORE,其基于FreeBSD开发,使用OpenZFS文件系统,对普通硬件兼容性较好,即便在非服务器硬件平台,也能够提供强大的性能和数据安全保障。
在影视生产环境中,我们往往需要将素材都集中存储在一台存储服务器上,各个制作部门的制作系统都可以从存储服务器中调取素材,这样非常方便各个制作环节交换素材,工程,可以集中管理、统一备份。比如:调色师、动画师、合成师都可以使用同一段素材,在不同的制作任务中同时制作,再将每个环节的作品输出到指定的目录,方便其他工作流程交换数据。
下面我们开始学习Truenas系统的构建方法:1、安装
-
2022-07-07 - 23:16 #87783
一、安装磁盘阵列系统到PC平台
硬件条件:需要一台具备多核心处理器、16GB以上内存的电脑,电脑上插有多块空白磁盘,以及两张16GB以上空间的U盘(一张用于制作启动盘,一张用于安装Truenas系统)
1、下载社区提供的开源免费版Truenas 操作系统,并制作启动U盘。
2、将安装程序添加U盘后,插入第二张用于安装系统的U盘,然后重新从U盘启动或引导系统。在主板启动屏幕上,使用主板制造商定义的热键启动到主板 UEFI/BIOS。
3、系统启动到安装程序后,请按照以下步骤操作、选择安装/升级。
4、选择所需的安装磁盘驱动器(这里选择刚才插入的第二张U盘)。
特别提示:这里可以通过键盘上下键来选择磁盘,按下键盘上的“空格键”为选中状态,方为选中☑️。
5、之后选择Yes,对下载的 TrueNAS 版本进行全新安装。 这将格式化所选驱动器的内容。当操作系统设备有足够的额外空间时,您可以选择为交换分区分配一些空间以提高性能。
6、最后在弹出界面上设置Web管理器界面的密码即可。输入
root
用户密码以登录 Web 界面。最终安装完成。拔掉安装U盘,重新启动系统,并选择从刚才安装好Truenas系统的盘启动即可。
-
2022-07-08 - 10:46 #87786
二、Truenas基础菜单管理以及Web管理界面IP配置
按照上述方法安装好Truenas操作系统后开机,从安装好的U盘启动系统,系统会开启检测硬盘、硬件、自动获取ip等,启动完成后会显示控制台设置菜单。如果 TrueNAS 系统有键盘和显示器,则此菜单可用于管理系统。
使用 SSH 或 web shell 连接时,默认情况下不显示控制台设置菜单。它可以由
root
用户或其他具有 root 权限的用户通过输入来启动/etc/netcli
。
Console Setup 菜单
1、配置网络接口提供了一个配置向导来设置系统的网络接口。如果系统已获得高可用性 (HA) 许可,向导会提示输入“此控制器”和“TrueNAS 控制器 2”的 IP 地址。
2、配置链路聚合用于创建或删除链路聚合。
3、配置 VLAN 接口用于创建或删除 VLAN 接口。
4、配置默认路由用于设置 IPv4 或 IPv6 默认网关。出现提示时,输入默认网关的 IP 地址。
5、为目标网络和网关 IP 地址配置静态路由提示。为所需的每个静态路由重新输入此选项。
6、配置 DNS提示,输入 DNS 域的名称和第一台 DNS 服务器的 IP 地址。添加多个DNS服务器时,回车进入下一个。按两次 Enter 退出此选项。
7、重置根密码用于重置丢失或忘记的根密码。选择此选项并按照提示设置密码。
8、将配置重置为默认值 注意!此选项删除在管理 GUI 中进行的所有配置设置,并用于将 TrueNAS® 重置为默认值。在选择此选项之前,请对所有数据进行完整备份,并确保所有加密密钥和密码都是已知的!选择此选项后,配置将重置为默认值并重新启动系统。存储 ➞ 池 ➞ 导入池可用于重新导入池。
9、Shell启动一个 shell 来运行 FreeBSD 命令。要离开 shell,请键入 exit。
10、重新启动会重新启动系统。
11、Shut Down关闭系统。
特别提示:要禁用 Console Setup 菜单,请转到System > Advanced并取消设置Show Text Console without Password Prompt。
Truenas的ip地址 / Web管理器地址
在启动过程中,TrueNAS 会自动尝试从所有实时接口连接到 DHCP 服务器。如果它成功接收到 IP 地址,则会显示该地址,以便可以使用它访问图形用户界面。在上面显示的示例中,TrueNAS 可在10.0.0.102.
一些 TrueNAS 系统没有设置监视器,因此很难确定分配了哪个 IP 地址。在支持多播 DNS (mDNS) 的网络上,可以在浏览器的地址栏中输入主机名和域。默认情况下,此值为truenas.local。
如果 TrueNAS 未连接到具有 DHCP 服务器的网络,请使用控制台网络配置菜单手动配置接口,如下所示。在这个例子中,TrueNAS 系统有一个网络接口,em0.
1234567891011121314151617181920212223Enter an option from 1-12: 11) em0Select an interface (q to quit): 1Remove the current settings of this interface? (This causes a momentary disconnection of the network.) (y/n) nConfigure interface for DHCP? (y/n) nConfigure IPv4? (y/n) yInterface name: (press enter, the name can be blank)Several input formats are supportedExample 1 CIDR Notation:192.168.1.1/24Example 2 IP and Netmask separate:IP: 192.168.1.1Netmask: 255.255.255.0, or /24 or 24IPv4 Address: 192.168.1.108/24Saving interface configuration: OkConfigure IPv6? (y/n) nRestarting network: ok...The web user interface is athttp://192.168.1.108 -
2022-07-08 - 11:00 #87789
三、Truenas的Web 界面管理菜单简介
开启 TrueNAS 系统时,系统会尝试从所有实时界面连接到 DHCP 服务器并提供对 Web 界面的访问。在支持多播域名服务 (mDNS) 的网络上,主机名和域可用于访问 TrueNAS Web 界面。默认情况下,TrueNAS 配置为使用主机名和域truenas.local 您可以在登录到 Web 界面后通过转到网络 > 全局配置并设置新的主机名和域来更改此设置。
登陆Web管理界面
在可以访问与 TrueNAS 系统相同网断的计算机上,在 Web 浏览器中输入主机名和域或 IP 地址以连接到 Web 界面。
只有root用户名用于登录 Web 界面。输入root安装过程中创建的帐户密码。
TrueNas的 网页管理界面菜单
登录后,TrueNAS Web 界面会在屏幕的顶部和左侧显示选项。顶部菜单
Web 界面顶部的水平菜单包含状态指示器、系统警报、UI 主题选项和系统电源选项。侧边菜单
屏幕左侧的列包含有关系统的一些信息以及指向各种 TrueNAS 配置屏幕的链接。列顶部的框显示当前登录的用户帐户和系统主机名。仪表板
系统仪表板是登录 TrueNAS 时的默认屏幕。有关已安装版本、系统组件使用情况和网络流量的基本信息都显示在此屏幕上。对于具有兼容 TrueNAS 硬件的用户,单击系统映像可转至系统 > 查看机箱页面。仪表板提供对所有 TrueNAS 管理选项的访问。
-
2022-07-08 - 11:11 #87793
四、创建磁盘阵列存储池与集群存储池镜像
现在我们已经登录到 Web 界面,是时候设置 TrueNAS 存储了。这些说明演示了一个简单的镜像池设置,其中一个磁盘用于存储,另一个用于数据保护。
硬件要求
系统至少需要两个大小相同的磁盘来创建镜像存储池。虽然技术上允许使用单磁盘池,但不建议这样做。用于 TrueNAS 安装的磁盘不计入此限制。数据备份可以通过多种方式进行配置,并且具有不同的要求。在云中备份数据需要第三方云存储提供商帐户。使用复制进行备份需要 TrueNAS 系统上的额外存储或(理想情况下)另一个位置的另一个 TrueNAS 系统。
简单的存储设置
转到存储 > 池,然后单击添加。设置Create a new pool并点击CREATE POOL关于Name(名称),输入tank或任何其他首选名称。在可用磁盘中,设置两个相同的磁盘,然后单击将它们移动到Data VDevs区域。
如果使用的磁盘具有非唯一序列号,则它们不会填充可用磁盘部分,直到选中显示具有非唯一序列号的磁盘复选框。
TrueNAS 自动建议镜像作为最大化数据存储和保护的理想布局。查看估计的总原始数据容量并单击CREATE。TrueNAS 擦除磁盘并将tank添加到Storage > Pools列表中。
添加数据集或 Zvol
新池具有允许进一步划分为新数据集或 zvol 的根数据集。数据集是存储数据并具有特定权限的文件系统。zvol是具有预定义存储大小的虚拟块设备。要创建任何一个,请转到Storage > Pools,单击,然后选择添加数据集或添加 Zvol。
这些通常是作为配置特定数据共享情况的一部分而创建的:
共享类型设置为SMB的数据集会针对 Windows 共享协议优化该数据集。
块设备共享 (iSCSI) 需要 zvol。在将任何数据移动到池中之前,根据您的访问和数据共享要求使用其他数据集或 zvol 来组织池。
-
2022-07-08 - 11:26 #87797
五、创建共享存储
配置和备份TrueNAS存储后,就可以开始共享数据了,创建共享存储后,有网络访问权限的其他计算机就可以访问、挂载共享存储磁盘了。有几种可用的共享解决方案,但我们将在本文中介绍最常见的。选择一个选项卡以开始使用简单的共享示例:
1、SMB存储共享
服务器信息块(SMB)协议是一种IBM协议,用于在计算机间共享文件、打印机、串口等。SMB 协议可以用在因特网的TCP/IP协议之上,也可以用在其它网络协议如IPX和NetBEUI 之上。
1.1、SMB:共享类型设置为SMB的数据集,设置了Samba 身份验证的 TrueNAS 用户帐户。设置权限
1.2、转到存储 > 池并找到要共享的数据集。点击和编辑权限。
1.3、单击SELECT AN ACL PRESET,打开下拉菜单,然后选择OPEN。单击保存。
1.4、创建共享
转到共享 > Windows 共享 (SMB),然后单击添加。1.5、最初只需要路径和名称。Path是 TrueNAS 上使用 SMB 协议共享的目录树。当SMB 客户端连接时,名称构成“完整共享路径名”的一部分。
单击提交以将配置保存到共享 > Windows 共享 (SMB)。
1.6激活服务
转到服务并切换SMB。如果您希望在 TrueNAS 启动后立即可以访问共享,请设置自动启动。连接到共享
在 Windows 10 系统上,打开文件浏览器。在导航栏中,输入\\TrueNAS 系统名称。出现提示时,输入 TrueNAS 用户帐户凭据并开始浏览数据集。在文件浏览器中输入:
\\192.168.31.202
输出账号密码登陆,然后可以将文件夹映射到磁盘
2、NFS网络文件系统
英文Network File System(NFS),是由SUN公司研制的UNIX表示层协议(presentation layer protocol),能使使用者访问网络上别处的文件就像在使用自己的计算机一样。
NFS(类Unix):要共享的 TrueNAS 数据集。客户端系统可能需要额外的包,例如nfs-common.
2.1、创建共享
转到共享 > Unix 共享 (NFS)并单击添加。2.2、用文件浏览器选择要共享的数据集,然后单击SUBMIT。出现提示时,单击启用服务以立即开始共享数据集。
访问数据集
在类 Unix 系统上,打开命令行。输入showmount -e IPADDRESS,将IPADDRESS替换为您的 TrueNAS 系统地址:123tmoore@ChimaeraPrime:~$ showmount -e 10.238.15.194Export list for 10.238.15.194:/mnt/pool1/testds (everyone)现在为 NFS 挂载创建一个本地目录:
1tmoore@ChimaeraPrime:~$ sudo mkdir nfstemp/最后挂载共享目录:
1tmoore@ChimaeraPrime:~$ sudo mount -t nfs 10.238.15.194:/mnt/pool1/testds nfstemp/
3、块存储(ISCSI):块共享是一个复杂的场景,需要详细的配置步骤和网络环境知识。
-
2022-09-09 - 18:59 #124819
大佬,这个磁盘阵列没有中文版吗?
-
-
作者帖子
- 在下方一键注册,登录后就可以回复啦。