亚马逊AWS官方博客

Category: Analytics

Amazon EMR 集群的成本优化实践

本文详细介绍了一个针对 AWS EMR 集群定时启停并保持 IP 地址固定的解决方案。该方案巧妙地结合了弹性网卡（ENI）技术和自动化脚本，有效解决了企业在使用 EMR 时面临的两大挑战：资源使用效率与 IP 地址变化问题。

基于 IoT 数据平台案例看 EMR HBase BucketCache 调优

我们提到，当 HBase 使用 Amazon S3 作为底层存储时，可以通过预热 BucketCache 来提升读取性能。随着 BucketCache 大小的增加，内存占用也呈正比上升。那么，BucketCache 对于性能的提升有多少？这些提升能否弥补 cache 带来的额外内存与算力成本呢？这篇 blog 将讨论这一问题。

基于 Datahub +Redshift 自动生成字段级血缘

这篇文章介绍了一个基于 DataHub 和 SQLLineage 实现 Redshift 字段级血缘的轻量级解决方案。这个方案为数据团队提供了一个实用的数据血缘追踪工具，有助于数据治理、影响分析、问题排查和性能优化等工作。同时其轻量级和可扩展的特点，也使其非常适合中小型数据团队使用。

数据架构的云原生迭代：从 Snowflake 到 AWS Data Lake

随着企业数据规模的不断扩大和分析任务的日益增加，单一的数据仓库架构逐渐无法满足多样化的业务需求。因此，许多企业开始考虑将其数据仓库体系扩展到数据湖，以便更好地管理海量数据并灵活地增加不同的分析服务。本文将通过一个用户案例来阐述这一转变过程，探讨如何在 AWS 环境中实现数据湖与 Snowflake 之间的集成，以支持更复杂的数据分析需求。

← Older posts
Newer posts →