亚马逊AWS官方博客
Amazon FSx for Lustre Intelligent-Tiering 正式发布，提供成本最低且唯一完全弹性的 Lustre 文件存储
地震成像是一种地球物理技术，用于绘制地球地下结构的详细图片。该技术通过生成地震波实现，这些地震波传入地下，从不同岩层和结构反射后返回地表，并由称为地震检波器或水听器的灵敏仪器检测。单次勘测所采集的海量数据通常达到 GB 级，这给研究人员和能源公司带来了巨大的存储、处理和管理挑战。
运行这些地震成像工作负载或其他高性能计算 (HPC) 工作负载（如天气预报、高级驾驶辅助系统 (ADAS) 训练或基因组分析）的客户，通常将海量数据存储在基于硬盘驱动器 (HDD) 或混合 HDD 与固态驱动器 (SSD) 的本地文件存储中。但是，随着这些本地数据集和工作负载的扩展，客户发现越来越难以应对高昂的前期资本投入，以满足工作负载的性能需求并避免存储容量耗尽。
现在，我们宣布 Amazon FSx for Lustre Intelligent-Tiering 正式发布，这是一种新的存储类别，可提供几乎无限的可扩展性、唯一完全弹性的 Lustre 文件存储，以及最低成本的云端 Lustre 文件存储。FSx for Lustre Intelligent-Tiering 的起始价格低于每 GB 每月 0.005 美元，提供最低成本的高性能云端文件存储，与其他托管 Lustre 选项相比，可将不常访问数据的存储成本降低高达 96%。弹性意味着您不再需要预置存储容量，因为您的文件系统会随着您添加或删除数据而增长和缩小，而且您只需为存储的数据量付费。
FSx for Lustre Intelligent-Tiering 可根据访问模式将冷数据分层到适用的低成本存储层，从而自动优化成本，并包括可选的 SSD 读取缓存，以提高对延迟最敏感的工作负载的性能。无论您是从 GB 级的实验数据开始，还是处理 PB 级的大型数据集以满足最苛刻的人工智能/机器学习 (AI/ML) 和 HPC 工作负载，智能分层 (Intelligent-Tiering) 都能提供高性能。智能分层可以灵活调整文件系统的性能，与本地 HDD 文件系统相比，其性价比最高可高出 34%。智能分层存储类别针对基于 HDD 或混合 HDD/SSD 的工作负载进行了优化，这些工作负载同时包含热数据和冷数据。您可以将此类工作负载迁移到 FSx for Lustre Intelligent-Tiering 并运行，无需更改应用程序，同时消除存储容量规划和管理，只需为使用的资源付费。
在此次发布之前，客户使用 FSx for Lustre SSD 存储类别来加速需要全 SSD 性能和一致低延迟访问所有数据的 ML 和 HPC 工作负载。然而，许多工作负载同时包含热数据和冷数据，它们不需要全 SSD 来存储较冷的数据。FSx for Lustre 越来越多地用于 AI/ML 工作负载中，以提高图形处理单元 (GPU) 的利用率，现在通过成本优化，它成为这些工作负载的更优选择之一。
FSx for Lustre Intelligent-Tiering
您的数据可以在三个存储层（频繁访问层、不经常访问层和存档层）之间轻松移动，这就使您可以自动获得成本节省，而无需任何前期成本或承诺。分层机制如下：
频繁访问层 — 过去 30 天内访问过的数据存储在此层中。
不频繁访问层 — 30 到 90 天内未访问的数据存储在此层，与频繁访问相比，成本降低了 44%。
存档 — 90天或更长时间未访问的数据存储在此层中，与不频繁访问相比，成本降低了 65%。
无论数据位于哪个存储层，都会跨多个 AWS 可用区存储以实现冗余和高可用性，而典型的本地实现通常局限于单一物理位置。此外，您的数据可以在毫秒内即时检索。
开始使用
我可以使用 AWS 管理控制台、AWS 命令行界面 (AWS CLI)、API 或 AWS CloudFormation 创建文件系统。在控制台中，我选择创建文件系统以开始创建：
我选择 适用于 Lustre 的 Amazon FSx 并点击下一步。
接下来，输入其余信息以创建文件系统。我为文件系统输入名称 (veliswa_fsxINT_1)，在部署和存储类别中选择持久性、智能分层。我选择所需的吞吐能力和元数据 IOPS。SSD 读取缓存将由 FSx for Lustre 根据指定的吞吐能力自动配置。我保留其余默认设置，选择下一步，然后查看选择以创建文件系统。
通过 Amazon FSx for Lustre Intelligent-Tiering，您可以灵活地为工作负载配置必要的性能，而无需预先配置任何底层存储容量。
我想知道哪些值可以在创建后编辑，因此在完成文件系统的创建之前，进行了仔细关注。我注意到吞吐能力、元数据 IOPS、安全组、SSD 读取缓存等可以在后期修改。在运行 ML 作业后，我可能需要根据处理的数据量增加吞吐能力，因此这些信息对我很重要。
文件系统现已可用。考虑到将运行 HPC 工作负载，我预计以后我会处理大量数据，因此我会将吞吐能力增加到 24 GB/s 。毕竟，我只为使用的资源付费。
SSD 读取缓存会随着性能需求的增加而自动扩展。您可以随时在用户配置模式下独立调整缓存大小，如果不需要低延迟访问，也可以禁用读取缓存。
注意事项
- FSx for Lustre Intelligent-Tiering 设计为可提供高达每秒数 TB 的总吞吐量。
- 与之前 FSx for Lustre 系统的相比，支持 Elastic Fabric Adapter (EFA)/GPU 直接存储 (GDS) 的 FSx f or Lustre 可将每台客户端的吞吐量提高多达 12 倍（高达 1200 Gbps）。
- 它可以提供高达数千万的写入和缓存读取 IOPS。SSD 读取缓存中的数据具有亚毫秒的首字节延迟，而其他数据的首字节延迟在数十毫秒范围内。
现已推出
请注意以下几点：
您需要为存储在文件系统上的数据和元数据付费（GB/月）。当您写入数据或读取不在 SSD 读取缓存中的数据时，需要按操作付费。您需要为在文件系统上预置的吞吐能力（MB/月）、元数据 IOPS（IOPS/月）以及 SSD 读取缓存大小（GB/月）付费。要了解更多信息，请访问 适用于 Lustre 的 Amazon FSx 定价页面。要了解有关包含此功能的 适用于 Lustre 的 Amazon FSx 的更多信息，请访问 适用于 Lustre 的 Amazon FSx 页面。
立即在 Amazon FSx 控制台中试用 Amazon FSx for Lustre Intelligent-Tiering，并请向 AWS re:Post for Amazon FSx for Lustre 或通过您熟悉的 AWS Support 联系人发送反馈。
– Veliswa。
*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您了解行业前沿技术和发展海外业务选择推介该服务。