Amazon Kinesis | Amazon Web Services ブログ

カヤバ株式会社における Amazon Quantum Ledger Database を活用した品質データ管理システムのモダナイゼーション

本稿ではカヤバ株式会社（以下、カヤバ）のデジタル変革推進本部が中心となり、オンプレミスに存在したシステム群 […]

AWS DMS、Amazon Kinesis、AWS Glue ストリーミング ETL ジョブを用いて Apache Hudi ベースのニアリアルタイムトランザクションデータレイクを構築し、Amazon QuickSight で可視化

最近、AWS Glueバージョン4.0でストリーミングの抽出、変換、およびロード（ETL）ジョブのサポートが発表されました。これは、AWSにおけるデータ統合ワークロードを加速する新しい AWS Glue のバージョンです。AWS Glue のストリーミングETLジョブは、ストリーミングソースから連続的にデータを取り込み、データを逐次的にクリーンアップおよび変換し、数秒で分析可能なデータにします。AWSはさまざまなサービスを提供しており、AWS Database Migration Service（AWS DMS）などのデータベースレプリケーションサービスを使用して、ソースシステムからデータを Amazon Simple Storage Service（Amazon S3）に複製することができます。これは通常、データレイクのストレージレイヤーとして使用されます。この投稿では、Amazon Relational Database Service（Amazon RDS）や他のリレーショナルデータベースからの CDC（Change Data Capture）変更を S3 データレイクに適用する方法を示し、データの非正規化、変換、およびリッチ化をほぼリアルタイムで柔軟に行う構築手順を説明しています。

AWS での IoT ワークロードのデプロイと管理

モノのインターネット ( IoT ) ワークロードを導入しようとする場合、企業はプラットフォームを複数の選択肢から選択することになります。この選択肢はさまざまで、独自デバイスのハードウェアを含めて完全にゼロから構築する方法や、事前に設定されたハードウェアを購入して、完全な SaaS (Software as a Service) IoT プラットフォームに接続するような方法があります。
このブログの目的は、IoT ソリューションの設計に必要なスキルや知識を理解し、どのコンポーネントを自前で開発して、どのコンポーネントを外部の技術ソリューションとして買ってくるのかを判断できるようにすることです。IoT ワークロードを AWS に移行しようと考えている場合は、「 AWS IoT Core へのシームレスな移行を計画する」をご参照ください。 AWS を利用することによる、移行プロセスの簡略化、提供可能なサポート、得られるメリットなどを理解するための最初のステップとして役立ちます。