20,000 个硬盘执行一项任务

Rohanseo143@#

互联网档案馆的使命是“普及所有知识”。我们存档的知识以数字数据的形式呈现。我们经常收到这样的问题：“互联网档案馆实际保存了多少数据？”以及“你们如何存储和保存这些知识？”

所有上传到互联网档案馆的内容都存储在“项目”中。与传统图书馆的馆藏类似，互联网档案馆的项目结构也各不相同，每个项目包含一本书、一部电影或一张音乐专辑——通常是一条可以被有效编目和检索的知识链，以及描述性信息（元数据），通常包括标题、创建者（作者）和其他与内容相关的策展信息。从技术角度来看，项目以结构清晰的方式存储在 Linux 目录中。

旦创建新项目

自动化系统会迅速将其复制到两台独立服务器上的两个不同磁盘驱动器上，这两台服务器通常位于不同 WS 数据库 的物理数据中心。这种内容“镜像”机制既能最大限度地降低数据丢失或损坏（由于硬盘或系统意外故障）的风险，又能提高内容访问效率。这两个存储位置（分别称为“主存储”和“辅助存储”）可立即为用户提供各自的内容副本……即使其中一个存储位置不可用，用户仍然可以从备用存储位置访问内容。



我们将这种整体方案称为“双存储”。由于采用了双存储架构，当我们谈到“存储多少”数据时，通常指的是对用户真正重要的内容——存储中唯一压缩内容的数量，也就是复制到双存储之前的数据量。因此，对于以下数据，实际物理磁盘空间（“原始”存储空间）通常是所示数量的两倍。

随着我们使命的推进

数据存储需求也日益增长。2012年10月，我们拥有略超过10PB的独特内容。如今，我们的存档数据已超过30PB，并且每天新增13至15TB的内容（其中网络和电视内容最为庞大）。

目前，互联网档案馆拥有约 20,000 个独立的磁盘驱动器。每个磁盘驱动器都安装在专用计算机（我们称之为“数据节点”）中，每台计算机配备 36 个数据驱动器（外加两个操作系统驱动器）。数据节点以 10 台为一组（共 360 个数据驱动器），并通过高速以太网互连，形成我们的存储集群。尽管过去四年我们的内容存储容量增长了两倍，但磁盘驱动器的数量基本保持不变。这是因为磁盘驱动器技术的进步。曾经配备 36 个 2TB (2T) 独立驱动器的数据节点，如今已配备 8TB (8T) 驱动器，在相同的物理空间内，单个节点的容量从 72TB（格式化后为 64.8TB）提升至 288TB（格式化后为 259.2TB）！磁盘密度的这种演变并非一步完成的，因此我们的存储集群中有 2T、3T、4T 和 8T 的驱动器。