亚马逊AWS官方博客
推出全新 Amazon EC2 P6-B200 实例!搭载 NVIDIA Blackwell GPU,加速人工智能创新
近日,AWS 宣布正式推出由 NVIDIA B200 提供支持的 Amazon Elastic Compute Cloud(Amazon EC2)P6-B200 实例,旨在满足客户对人工智能(AI)、机器学习(ML)和高性能计算(HPC)应用程序的高性能和可扩展性的需求。
Amazon EC2 P6-B200 实例可加速各种支持 GPU 的工作负载,但特别适合于使用强化学习(RL)和蒸馏法对基础模型(FM)进行大规模分布式人工智能训练和推理、多模态训练和推理,以及气候建模、药物发现、地震分析和保险风险建模等 HPC 应用程序的推理。
当与 Elastic Fabric Adapter(EFAv4)联网、EC2 UltraClusters 的超大规模集群以及 AWS Nitro System 的高级虚拟化和安全功能结合使用时,您可以以更快的速度、更大的规模和更高的安全性来训练 FM 并为其提供服务。这些实例的人工智能训练(训练时间)和推理(令牌/秒)性能是 EC2 P5en 实例的两倍。
您可以加快训练 FM 的上市时间并提供更快的推理吞吐量,从而降低推理成本,有助于提高生成式人工智能应用程序的采用率并提高 HPC 应用程序的处理性能。
EC2 P6-B200 实例规格
新的 EC2 P6-B200 实例提供八个 NVIDIA B200 GPU、1440 GB 的高带宽 GPU 内存、第五代英特尔至强可扩展处理器(Emerald Rapids)、2 TiB 的系统内存和 30 TB 的本地 NVMe 存储。
以下是 EC2 P6-B200 实例的规格:
实例大小 | GPU(NVIDIA B200) | GPU 内存(GB) |
vCPU | GPU 点对点(GB/s) | 实例存储(TB) | 网络带宽(Gbps) | EBS 带宽(Gbps) |
P6-b200.48xlarge | 8 | 1440 HBM3e | 192 | 1800 | 8 x 3.84 NVMe SSD | 8 x 400 | 100 |
与 P5en 实例相比,这些实例的 GPU TFLOP 最多可提高 125%,GPU 内存大小增加了 27%,GPU 内存带宽增加了 60%。
P6-B200 实例的实际应用
您可以通过适用于 ML 的 EC2 容量块在美国西部(俄勒冈州)AWS 区域使用 P6-B200 实例。要预留 EC2 容量块,请在 Amazon EC2 控制台上选择容量预留。
选择购买适用于 ML 的容量块,然后选择您的总容量并为 p6-b200.48xlarge 实例指定您需要 EC2 容量块的时长。您可以预留 EC2 容量块的总天数为 1-14 天、21 天、28 天或 7 到 182 天的倍数。您最多可以提前 8 周选择最早的开始日期。
现在已成功计划您的 EC2 容量块。EC2 容量块的总价格将会提前收取,并且价格在购买后不会发生变化。这笔款项将在您购买 EC2 容量块后 12 小时内计入您的账户。要了解更多信息,请访问《Amazon EC2 用户指南》中的适用于 ML 的容量块。
启动 P6-B200 实例时,您可以使用 AWS Deep Learning AMI(DLAMI)以支持 EC2 P6-B200 实例。DLAMI 为机器学习从业者和研究人员提供基础设施和工具,以便在预配置的环境中快速构建可扩展、安全的分布式机器学习应用程序。
要运行实例,您可以使用 AWS 管理控制台、AWS 命令行界面(AWS CLI)或 AWS SDK。
您可以将 EC2 P6-B200 实例与各种 AWS 托管服务无缝集成,例如 Amazon Elastic Kubernetes Service(Amazon EKS)、Amazon Simple Storage Service(Amazon S3)和适用于 Lustre 的 Amazon FSx。对 Amazon SageMaker HyperPod 的支持也即将推出。
现已推出
Amazon EC2 P6-B200 实例现已在美国西部(俄勒冈州)区域推出,可以作为适用于 ML 的 EC2 容量块购买。
在 Amazon EC2 控制台中尝试使用 Amazon EC2 P6-B200 实例。要了解更多信息,请参阅 Amazon EC2 P6 实例页面并将反馈发送至 EC2 的 AWS re:Post,或者通过常用的 AWS Support 联系人发送反馈。
— Channy
*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用,亚马逊云科技中国仅为帮助您了解行业前沿技术和发展海外业务选择推介该服务。