Amazon FSx for Lustre Intelligent-Tiering 스토리지 클래스 정식 출시 – AI 기반 최소 비용의 탄력적 고성능 스토리지 제공

지진 이미징은 지하 구조를 상세하게 그려내는 데 사용되는 지구물리학적 기법입니다. 이 기법은 지진파를 발생시켜 땅속으로 보낸 후, 다양한 암석층과 구조에서 반사되어 다시 표면으로 돌아오는 파를 지오폰 또는 하이드로폰이라 불리는 민감한 장비로 감지하는 방식으로 작동합니다. 한 번의 조사에서 획득되는 데이터의 양은 종종 페타바이트 단위에 이르며, 이는 연구자와 에너지 업체들에게 상당한 저장, 처리, 관리의 과제를 안겨줍니다.

지진 이미징 워크로드나 기상 예보, 첨단 운전자 지원 시스템(ADAS) 훈련, 유전체 분석 등과 같은 고성능 컴퓨팅(HPC) 워크로드를 실행하는 고객들은 이미 이러한 방대한 데이터를 온프레미스의 하드 디스크 드라이브(HDD) 기반 또는 HDD와 SSD(솔리드 스테이트 드라이브) 파일 스토리지를 혼합하여 저장하고 있습니다. 그러나 온프레미스 데이터세트와 워크로드가 확장됨에 따라, 고객들은 워크로드의 성능 요구를 충족하고 저장 용량 부족을 피하기 위해 선행 자본 투자를 해야 하므로 점점 더 어렵고 비용이 많이 들게 됩니다.

오늘, 우리는 사실상 무제한의 확장성, 유일하게 완전 탄력적인 Lustre 파일 스토리지, 그리고 클라우드에서 가장 저렴한 Lustre 파일 스토리지를 제공하는 새로운 스토리지 클래스인 Amazon FSx for Lustre Intelligent-Tiering의 정식 출시를 발표합니다. GB당 월 USD0.005 미만의 시작 가격으로, FSx for Lustre Intelligent-Tiering은 클라우드에서 가장 저렴한 고성능 파일 스토리지를 제공하며, 자주 액세스하지 않는 데이터의 저장 비용을 기존 관리형 Lustre 옵션 대비 최대 96%까지 절감합니다. 탄력성은 저장 용량을 미리 프로비저닝할 필요가 없다는 의미로, 파일 시스템이 데이터를 추가하거나 삭제할 때마다 자동으로 확장 또는 축소되며, 실제 저장된 데이터 양에 대해서만 비용이 청구됩니다.

FSx for Lustre Intelligent-Tiering은 접근 패턴에 따라 콜드 데이터를 적절한 저비용 스토리지 티어로 자동으로 이동시켜 비용을 최적화하며, 대기 시간에 민감한 워크로드의 성능 향상을 위해 SSD 읽기 캐시 옵션도 제공합니다. Intelligent-Tiering은 실험용 데이터가 기가바이트 단위로 시작하든, 가장 까다로운 인공지능/기계 학습(AI/ML) 및 HPC 워크로드를 위한 페타바이트 규모의 대형 데이터세트를 다루든 관계없이 높은 성능을 제공합니다. 파일 시스템의 성능을 스토리지와 독립적으로 조정할 수 있는 유연성을 통해, Intelligent-Tiering은 온프레미스 HDD 파일 시스템 대비 최대 34% 더 나은 가격 대비 성능을 제공합니다. Intelligent-Tiering 스토리지 클래스는 핫 데이터와 콜드 데이터가 혼합된 HDD 기반 또는 HDD/SSD 혼합 워크로드에 최적화되어 있습니다. 이러한 워크로드를 애플리케이션 변경 없이 FSx for Lustre Intelligent-Tiering으로 이전 및 실행할 수 있으며, 저장 용량 계획 및 관리를 없애고 사용한 리소스에 대해서만 비용을 지불하면 됩니다.

이번 출시 전까지 고객들은 모든 데이터에 대해 SSD 성능과 일관된 낮은 지연 시간이 필요한 ML 및 HPC 워크로드를 가속화하기 위해 FSx for Lustre SSD 스토리지 클래스를 사용했습니다. 하지만 많은 워크로드에는 핫 데이터와 콜드 데이터가 혼합되어 있으며, 콜드 데이터 부분에는 SSD 스토리지가 필요하지 않습니다. FSx for Lustre는 AI/ML 워크로드에서 그래픽 처리 장치(GPU) 활용도를 높이기 위해 점점 더 많이 사용되고 있으며, 이제는 이러한 워크로드에 더욱 비용 최적화된 옵션이 되었습니다.

FSx for Lustre Intelligent-Tiering
별도의 작업 없이 세 가지 스토리지 계층(Frequent Access, Infrequent Access, Archive) 간에 데이터를 이동할 수 있으므로 선결제 비용 또는 약정 없이 자동으로 비용을 절감할 수 있습니다. 계층화는 다음과 같이 작동합니다.

Frequent Access – 이 계층에는 지난 30일 이내에 액세스한 데이터가 저장됩니다.

Infrequent Access – 30~90일 동안 액세스되지 않은 데이터는 이 티어에 저장되며, 빈번 액세스 대비 44%의 비용 절감 효과가 있습니다.

Archive – 90일 이상 액세스되지 않은 데이터는 이 티어에 저장되며, Infrequent Access 대비 65%의 비용 절감 효과가 있습니다.

스토리지 티어와 관계없이, 데이터는 여러 AWS Availability Zones에 분산 저장되어 중복성과 가용성을 확보합니다. 이는 일반적으로 단일 물리적 위치로 제한되는 전통적인 온프레미스 구현과 대조됩니다. 또한, 데이터는 밀리초 단위로 즉시 검색할 수 있습니다.

파일 시스템 생성
AWS Management Console, AWS Command Line Interface(AWS CLI), API 또는 AWS CloudFormation을 사용하여 파일 시스템을 생성할 수 있습니다. 콘솔에서 Create file system을 클릭하여 시작합니다.

Amazon FSx for Lustre를 선택하고 Next를 선택합니다.

이제 파일 시스템을 생성하기 위해 나머지 정보를 입력할 차례입니다. 파일 시스템 이름(veliswa_fsxINT_1)을 입력하고, 배포 및 스토리지 클래스에는 Persistent, Intelligent-Tiering을 선택합니다. 원하는 처리량 용량과 메타데이터 IOPS를 선택합니다. SSD 읽기 캐시는 지정한 처리량 용량에 따라 FSx for Lustre에서 자동으로 구성됩니다. 나머지는 기본값으로 두고, Next를 선택한 후 내 파일 시스템 생성을 검토합니다.

Amazon FSx for Lustre Intelligent-Tiering을 사용하면, 기본 스토리지 용량을 미리 프로비저닝하지 않고도 워크로드에 필요한 성능을 유연하게 프로비저닝할 수 있습니다.

생성 후 어떤 값들이 편집 가능한지 알고 싶어 파일 시스템 생성 완료 전에 주의 깊게 살펴보았습니다. 처리량 용량, 메타데이터 IOPS, 보안 그룹, SSD 읽기 캐시 등 몇 가지는 나중에 편집할 수 있음을 확인했습니다. ML 작업을 시작한 후 처리할 데이터 양에 따라 처리량 용량을 늘려야 할 수도 있으므로 이 정보가 중요합니다.

파일 시스템이 이제 사용 가능합니다. HPC 워크로드를 실행할 예정이므로, 나중에 대용량 데이터를 처리할 것을 예상하여 처리량 용량을 24GB/s로 늘릴 계획입니다. 결국, 사용한 리소스에 대해서만 비용을 지불합니다.

SSD 읽기 캐시는 성능 요구가 증가함에 따라 자동으로 확장됩니다. 사용자 프로비저닝 모드에서는 캐시 크기를 언제든지 독립적으로 조정할 수 있으며, 저지연 액세스가 필요 없으면 읽기 캐시를 비활성화할 수도 있습니다.

알아두면 좋은 정보
몇 가지 참고할 사항을 알려드립니다.

• FSx for Lustre Intelligent-Tiering은 총 처리량이 초당 수 테라바이트에 달하도록 설계되었습니다.
• Elastic Fabric Adapter(EFA)/GPU Direct Storage(GDS) 지원이 포함된 FSx for Lustre는 이전 FSx for Lustre 시스템에 비해 클라이언트당 최대 12배(최대 1200Gbps) 높은 처리량을 제공합니다.
• 쓰기 및 캐시된 읽기에 대해 수천만 IOPS까지 제공할 수 있습니다. SSD 읽기 캐시에 있는 데이터는 밀리초 미만의 첫 바이트 지연 시간을 가지며, 나머지 데이터는 수십 밀리초 범위의 첫 바이트 지연 시간을 가집니다.

정식 출시
FSx Intelligent-Tiering 스토리지 클래스는 미국 동부(버지니아 북부, 오하이오), 미국 서부(캘리포니아 북부, 오리건), 캐나다(중부), 유럽(프랑크푸르트, 아일랜드, 런던, 스톡홀름), 아시아 태평양(홍콩, 뭄바이, 서울, 싱가포르, 시드니, 도쿄) AWS 리전에서 새 FSx for Lustre 파일 시스템에 사용할 수 있습니다.

파일 시스템에 저장하는 데이터 및 메타데이터(GB/월)에 대해 비용을 지불합니다. 데이터를 쓰거나 SSD 읽기 캐시에 없는 데이터를 읽을 때 작업별로 비용이 청구됩니다. 파일 시스템에 프로비저닝한 총 처리량 용량(MBps/월), 메타데이터 IOPS(IOPS/월), 데이터 및 메타데이터에 대한 SSD 읽기 캐시 크기(GB/월)에 대해 비용을 지불합니다. 자세한 내용은 Amazon FSx for Lustre 가격 페이지를 방문하세요. 이 기능을 포함한 Amazon FSx for Lustre에 대해 더 알아보려면 Amazon FSx for Lustre 페이지를 방문하세요.

오늘 Amazon FSx 콘솔에서 Amazon FSx for Lustre Intelligent-Tiering을 사용해보고, AWS re:Post for Amazon FSx for Lustre 또는 평소 사용하시는 AWS Support 연락처를 통해 피드백을 보내주세요.

– Veliswa