Amazon FSx for Lustre が唯一完全な伸縮性を備えた最小コストの Lustre ストレージを用いた新しいストレージクラスをリリース

地震波イメージングは、地球の内部構造の詳細な画像を作成するために使用される地球物理学的手法です。この手法は、地中に放射すると、さまざまな岩石層や構造に反射して地表に戻る地震波を生成することで機能します。戻った地震波は、ジオフォンやハイドロフォンと呼ばれる精密機器によって検出されます。収集された膨大なデータの量は 1 回の調査でペタバイトに達することが多く、保存、処理、管理に関する重大な課題を研究者やエネルギー企業にもたらします。

このような地震波イメージングのワークロードや、気象予報、先進運転支援システム (ADAS) トレーニング、ゲノム解析といったハイパフォーマンスコンピューティング (HPC) ワークロードを実行するお客様は、既にオンプレミスのハードディスクドライブ (HDD) ベースのファイルストレージ、または HDD とソリッドステートドライブ (SSD) を組み合わせたファイルストレージに大量のデータを保存しています。しかし、これらのオンプレミスのデータセットとワークロードが拡大する中、ワークロードのパフォーマンスニーズに対応し、ストレージの容量不足を回避するには先行投資を行う必要があるため、お客様はこの手法がますます困難で高額になっているのを実感しています。

5 月 29 日、AWS は Amazon FSx for Lustre Intelligent-Tiering の一般提供を発表しました。この新しいストレージクラスは、実質上無制限のスケーラビリティを提供し、唯一完全な伸縮性を備えた Lustre ファイルストレージで、クラウド内で最もコストが低い Lustre ファイルストレージでもあります。開始価格が GB-月あたり 0.005 USD 未満の FSx for Lustre Intelligent-Tiering は、クラウド内で最も低コストの高性能ファイルストレージを提供し、アクセス頻度の低いデータのストレージコストが他のマネージド Lustre オプションより最大 96% 低くなります。その伸縮性により、データの追加や削除に合わせてファイルシステムも拡大縮小するため、ストレージ容量を事前にプロビジョニングする必要がなくなります。また、支払いも保存するデータの量に対する料金のみです。

FSx for Lustre Intelligent-Tiering は、アクセスパターンに基づいてコールドデータを適切な低コストストレージ階層に階層化することでコストを自動的に最適化し、低レイテンシーが極めて重要なワークロードのパフォーマンスを向上させるオプションの SSD 読み取りキャッシュが含まれています。ギガバイト規模の実験データで使用を開始するか、最も要求の厳しい人工知能/機械学習 (AI/ML) ワークロードや HPC ワークロードのためのペタバイト規模の大規模データセットを処理するかにかかかわらず、Intelligent-Tiering は優れたパフォーマンスを提供します。ストレージとは無関係にファイルシステムのパフォーマンスを調整する柔軟性を備えた Intelligent-Tiering は、オンプレミスの HDD ファイルシステムよりも最大 34% 優れた価格パフォーマンスを実現します。Intelligent-Tiering ストレージクラスは、ホットデータとコールドデータの組み合わせを使用する、HDD ベースまたは HDD/SSD 混在のワークロード向けに最適化されています。FSx for Lustre Intelligent-Tiering には、アプリケーションの変更なしでこのようなワークロードを移行して実行できるので、ストレージ容量の計画と管理が不要になり、支払いは使用したリソースに対する料金のみになります。

このリリース以前、お客様は FSx for Lustre SSD ストレージクラスを使用して、オール SSD ストレージのパフォーマンスと全データに対する一貫的な低レイテンシーアクセスを必要とする ML ワークロードと HPC ワークロードを高速化していました。しかし、多くのワークロードにはホットデータとコールドデータが混在しており、コールド寄りのデータにオール SSD ストレージは必要ありません。FSx for Lustre は、グラフィックスプロセッシングユニット (GPU) 利用率を向上させるために AI/ML ワークロードで使用されることがますます増えています。このようなワークロードのオプションの 1 つとなるべく、FSx for Lustre のコストがさらに最適化されました。

FSx for Lustre Intelligent-Tiering
データは、ユーザー操作なしで 3 つのストレージ階層 (高頻繁アクセス、低頻度アクセス、アーカイブ) 間を移動するため、初期費用や事前のコミットメントなしで自動的にコストを削減できます。階層化は次のような仕組みになっています。

高頻度アクセス – この階層には過去 30 日以内にアクセスされたデータが保存されます。

低頻度アクセス – この階層には 30～90 日間アクセスされなかったデータが保存され、高頻度アクセスよりもコストが 44% 低くなります。

アーカイブ – この階層には 90 日以上アクセスされなかったデータが保存され、低頻度アクセスよりもコストが 65% 低くなります。

単一の物理的ロケーション内に限定されることが一般的な通常のオンプレミス実装とは異なり、ユーザーのデータは、そのストレージ階層にかかわらず、冗長性と可用性のために複数のAWSアベイラビリティーゾーンに保存されます。さらに、データはミリ秒単位で瞬時に取得できます。

ファイルシステムの作成
ファイルシステムは、AWS マネジメントコンソール、AWS コマンドラインインターフェイス (AWS CLI)、API、または AWS CloudFormation を使用して作成できます。コンソールで [ファイルシステムを作成] を選択して作成を開始します。

[Amazon FSx for Lustre] を選択してから [次へ] を選択します。

ここで、ファイルシステムを作成するための残りの情報を入力します。ファイルシステムの名前 (veliswa_fsxINT_1) を入力し、[デプロイとストレージクラス] には [永続的なインテリジェント階層化] を選択します。希望する [スループットキャパシティ] と [メタデータ IOPS] を選択します。[SSD 読み取りキャッシュ] は、指定したスループットキャパシティに基づいて FSx for Lustre が自動的に設定します。残りはデフォルトのままにしておいて [次へ] を選択し、選択内容を確認してからファイルシステムを作成します。

Amazon FSx for Lustre Intelligent-Tiering を使用することで、基盤となるストレージ容量を事前にプロビジョニングしなくても、ワークロードに必要なパフォーマンスをプロビジョニングする柔軟性が得られます。

作成後にどの値を編集できるか知りたかったので、ファイルシステムの作成を完了する前に設定をしっかり確認しておいたところ、スループットキャパシティ、メタデータ IOPS、セキュリティグループ、SSD 読み取りキャッシュ、およびその他いくつかの設定を後で編集できることがわかりました。ML ジョブの実行を開始した後で、処理するデータ量に応じてスループットキャパシティを増やす必要が生じることもあるため、この情報は私にとって重要です。

これで、ファイルシステムが利用可能になりました。今後 HPC ワークロードを実行することを考えると、これから大量のデータを処理することが見込まれるため、スループットキャパシティを 24 Gb/秒に増やします。増やしたとしても、支払うのは使用したリソースの料金のみです。

SSD 読み取りキャッシュは、パフォーマンスニーズの増加に応じて自動的にスケールします。キャッシュサイズは、ユーザープロビジョニングモードでいつでも個別に調整できます。低レイテンシーアクセスが必要ない場合は読み取りキャッシュを無効化することもできます。

知っておくと便利な情報

• FSx for Lustre Intelligent-Tiering は、1 秒あたり最大で数テラバイトの総スループットを実現するように設計されています。
• Elastic Fabric Adapter (EFA)/GPU Direct Storage (GDS) をサポートする FSx for Lustre は、クライアントあたりのスループットが以前の FSx for Lustre システムよりも最大 12 倍 (最大 1200 Gbps) 高くなっています。
• 書き込みとキャッシュ読み取りでは、最大で数千万 IOPS を実現できます。SSD 読み取りキャッシュ内のデータの TTFB (Time to First Byte) レイテンシーはミリ秒未満で、その他すべてのデータの TTFB レイテンシーも数十ミリ秒の範囲です。

今すぐご利用いただけます
この新機能には、いくつかの留意点があります。

FSx Intelligent-Tiering ストレージクラスは、米国東部 (バージニア北部、オハイオ)、米国西部 (北カリフォルニア、オレゴン)、カナダ (中部)、欧州 (フランクフルト、アイルランド、ロンドン、ストックホルム)、アジアパシフィック (香港、ムンバイ、ソウル、シンガポール、シドニー、東京) の各 AWS リージョンにある新しい FSx for Lustre ファイルシステムで利用できます。

料金については、ファイルシステムに保存するデータとメタデータに対する料金 (GB/月)、データを書き込むとき、または SSD 読み取りキャッシュ内にないデータを読み取るときの操作ごとの料金、およびファイルシステムにプロビジョニングする合計スループットキャパシティ (MBps/月)、メタデータ IOPS (IOPS/月)、データとメタデータ用の SSD 読み取りキャッシュのサイズ (GB/月) に対する料金を支払います。詳細については、「Amazon FSx for Lustre の料金」ページをご覧ください。この機能を含めた Amazon FSx for Lustre の詳細については、「 Amazon FSx for Lustre」ページをご覧ください。

Amazon FSx コンソールで Amazon FSx for Lustre Intelligent-Tiering を今すぐお試しください。Amazon FSx for Lustre の AWS re:Post や通常の AWS サポート連絡先経由でのフィードバックもお待ちしています。

– Veliswa

原文はこちらです。

ニュースブログはいかがでしたか? こちらの 1 分間のアンケートにぜひご協力ください!

(このアンケートは外部企業に委託して行われます。AWS は、AWS プライバシー通知に記載された内容に従って、お客様の情報を取り扱います。AWS は、このアンケートを通じて収集したデータを所有し、収集した情報をアンケートの回答者と共有することはありません)