O blog da AWS

Aprimorando o monitoramento de atividades de várias contas com arquiteturas orientadas por eventos

Por Anton Aleksandrov, Principal Specialist Solutions Architect para Serverless na Amazon Web Services (AWS) e Joe Alioto, um especialista Senior GTM na Amazon Web Services (AWS).

Os ambientes de nuvem corporativa estão se tornando cada vez mais complexos à medida que se expandem, com organizações gerenciando centenas a milhares de contas da Amazon Web Services (AWS) em várias unidades de negócios e regiões da AWS. As organizações precisam de maneiras eficientes de coletar, transportar e analisar dados de atividades para detecção de ameaças e monitoramento de conformidade. Isso apresenta desafios únicos para equipes de segurança de aplicativos corporativos (AppSec), fornecedores de segurança em nuvem e profissionais de DevSecOps, porque as abordagens tradicionais de monitoramento baseadas em consultas tem dificuldade em fornecer informações de atividades em tempo real necessárias para as operações modernas na nuvem.

Nesta postagem, você aprenderá a usar o AWS CloudTrail e o Amazon EventBridge para monitoramento de atividades na nuvem em tempo real e resposta automatizada.

Visão geral

À medida que as organizações expandem sua presença na nuvem, o monitoramento das atividades na conta, que rastreia de forma abrangente as ações dos usuários e identifica com sucesso as ameaças à segurança, torna-se crucial para a detecção e conformidade de ameaças. Embora a AWS forneça ferramentas nativas, como o CloudTrail para captura de atividades de API, o EventBridge para roteamento de eventos em tempo real, o AWS Organizations para gerenciamento de várias contas e o AWS Config para avaliação de recursos, muitas empresas enfrentam dificuldades com o volume de atividades enquanto mantêm a eficiência e controlam os custos. As organizações precisam arquitetar cuidadosamente as soluções para usar essas ferramentas de forma eficaz à medida que seus ambientes se expandem.

As técnicas tradicionais baseadas em pesquisas, que funcionaram bem em ambientes menores, podem se tornar insustentáveis quando escaladas para implantações corporativas, nas quais o volume de dados de atividades cresce exponencialmente a cada nova conta e serviço. As limitações da pesquisa de API, o aumento dos volumes de dados e a crescente demanda por análises em tempo real estão levando as equipes a repensar sua abordagem arquitetônica.

Figura 1. Modelo de consulta, recuperando periodicamente o estado mais recente.

A adoção de arquiteturas orientadas por eventos baseadas em push oferece uma solução atraente para equipes de AppSec e fornecedores de segurança em nuvem que enfrentam esses desafios. O uso de serviços da AWS, como o CloudTrail e o EventBridge, permite que essas equipes e fornecedores criem soluções escaláveis de monitoramento de atividades que superem as limitações das abordagens tradicionais baseadas em pesquisas e forneçam notificações em tempo real em milhares de contas da AWS. Essa abordagem não apenas permite casos de uso de segurança, mas também oferece suporte a requisitos mais amplos de monitoramento operacional em tempo real, relatórios de conformidade e automação.

“Ao integrar o AWS CloudTrail e o Amazon EventBridge, criamos uma arquitetura escalável para monitorar atividades em milhares de contas da AWS. Isso fornece a visibilidade necessária para detectar ameaças em tempo real e proteger ambientes grandes e distribuídos da AWS.” — Rob Solomon, arquiteto sênior de soluções de nuvem da CrowdStrike

Componentes da solução

As equipes corporativas de AppSec e os fornecedores de segurança na nuvem compartilham requisitos comuns ao criar soluções de monitoramento de várias contas. Eles precisam coletar com eficiência dados de atividades em milhares de contas, transportá-los para um local centralizado para análise e processá-los em tempo real para detectar ameaças e violações de conformidade. A solução deve ser escalada perfeitamente de dezenas para milhares de contas e, ao mesmo tempo, permanecer com alto desempenho e economia. Basicamente, uma solução escalável de monitoramento de atividades com várias contas consiste em três componentes: coleta de dados de atividades, transporte entre contas para um local centralizado e processamento. Nas seções a seguir, você aprenderá como as equipes de AppSec e os fornecedores de segurança na nuvem podem implementar cada etapa com eficiência, evitando armadilhas comuns.

Figura 2. Modelo push. A atividade da conta é coletada na fonte e enviada para a conta do AppSec ou do fornecedor de segurança na nuvem para processamento adicional.

Estratégias de coleta de dados

Muitas equipes iniciam sua jornada de monitoramento de atividades na nuvem pesquisando o status dos recursos por meio de APIs de gerenciamento de serviços. Embora essa abordagem funcione bem para recuperar o estado mais recente do recurso sob demanda, sua limitação fundamental é a incapacidade de detectar mudanças de estado com eficiência, exigindo a consulta contínua de todos os recursos em intervalos fixos. Considere um cenário em que você esteja monitorando 1.000 contas, com 100 recursos em cada conta. Um único ciclo de pesquisa exigiria 100.000 solicitações de API, consumindo mais de 28 milhões de chamadas de API diariamente se executado em intervalos de cinco minutos. Essa ineficiência aumenta à medida que os ambientes crescem, levando a problemas de limitação, aumento de custos e desafios de escalabilidade.

O AWS Config aprimorou isso oferecendo rastreamento contínuo da configuração de recursos sem pesquisa manual. Embora isso funcione muito bem para a conformidade da configuração e para um histórico de alterações na auditoria, o AWS Config relata as alterações com base no melhor esforço possível e não é ideal para a detecção de ameaças em tempo real.

Para superar essa restrição, sua solução pode usar serviços como o CloudTrail e o EventBridge como fontes de dados primárias, complementadas por uma pesquisa inteligente de API direcionada sob demanda. O CloudTrail registra a atividade da API nos serviços da AWS, fornecendo um histórico detalhado das ações realizadas por usuários, funções e serviços da AWS em suas contas. Mais de 250 serviços da AWS relatam automaticamente suas atividades e chamadas de API para o CloudTrail e o EventBridge em tempo real. Isso permite que você capture essas informações, fornecendo um histórico detalhado das ações tomadas em suas contas e permitindo a análise de segurança, o rastreamento de alterações no estado dos recursos e a auditoria de conformidade.

Figura 3. Mais de 250 serviços da AWS estão emitindo automaticamente eventos de atividades para o CloudTrail.

Quando o estado de um recurso muda, geralmente como resultado de uma chamada de API de gerenciamento, o serviço afetado envia um evento para o CloudTrail e o EventBridge. Sua solução de monitoramento pode examinar a carga útil do evento para determinar se a pesquisa de dados suplementares é necessária, especialmente quando a carga inicial não tem informações completas. Isso fornece uma cobertura de serviço abrangente com esforço de manutenção reduzido. Essa abordagem híbrida garante a entrega de dados de atividades para eliminar os pontos cegos do monitoramento e, ao mesmo tempo, reduzir significativamente o consumo da cota da API de gerenciamento da AWS.

Transporte de dados entre contas

Sua solução deve transportar dados de atividades de milhares de contas de inquilinos (tenents) para um pequeno número de contas centralizadas, como uma conta regional do AppSec, para processamento e análise adicionais. A solução deve ser segura, escalável, resiliente e econômica, mantendo a entrega em tempo real.

A maneira mais direta de fazer isso é habilitar as notificações de eventos do Amazon S3 para novos objetos criados no bucket S3 do CloudTrail trails. Ao receber a notificação, você pode recuperar e processar novas atividades.

Figura 4. Exportar eventos do CloudTrail para um bucket do S3 e recuperá-los após receber uma notificação.

Essa forma direta de consumir eventos do CloudTrail tem uma consideração importante: normalmente, a entrega de eventos no Amazon S3 pode levar em média cinco minutos. Equipes e fornecedores que buscam menor tempo médio de detecção (MTTD) e tempo médio de resposta (MTTR) devem avaliar o transporte de eventos do CloudTrail entre contas com o EventBridge, que fornece entrega quase em tempo real.

Transportando eventos com o EventBridge

O EventBridge é um roteador de eventos Serverless que conecta aplicativos. Ele recebe eventos de várias fontes, como o CloudTrail, e os encaminha para vários destinos com base em regras definidas.

Usar o EventBridge para transporte de dados entre contas traz vários benefícios importantes:

Há duas abordagens que você pode adotar para entregar eventos entre contas com o EventBridge: serviço direto para serviço ou serviço para API-endpoint.

A primeira abordagem usa os recursos de entrega direta de barramento-para-barramento e barramento-para-serviço do EventBridge. Esse método é mais adequado quando você deseja que a AWS processe a ingestão de dados no lado receptor. O destino de entrega é sempre um barramento do EventBridge ou outro serviço da AWS, como uma fila do Amazon Simple Queue Service (Amazon SQS), um stream do Amazon Kinesis Data Streams ou uma função do AWS Lambda. Com suporte para até 18.750 invocações de destino por segundo e integração nativa do AWS Identity and Access Management (IAM), esse método é particularmente adequado para grandes implantações de várias contas.

A segunda abordagem usa o recurso de destinos da API EventBridge. Esse método é mais adequado quando você tem endpoints de ingestão baseados em HTTP existentes. Embora ofereça menor taxa de transferência, ele oferece maior flexibilidade para a implementação de endpoints de ingestão e métodos de autenticação, tornando-o atraente para equipes de AppSec e fornecedores de segurança em nuvem que se integram à infraestrutura de ingestão existente.

Figura 5. Emitindo eventos do CloudTrail em tempo real por meio do EventBridge.

A tabela a seguir resume duas abordagens para transportar eventos entre contas com o EventBridge.

 

Barramento direto para barramento ou barramento para serviço Destinos da API
Esforço de implementação da ingestão de dados Mínimo Obrigatório
Cotas padrão de invocações por segundo (TPS) Até 18.750 (dependendo da região) Até 300 (dependendo da região)
A cota do TPS pode ser aumentada? sim sim
Suporte de autorização IAM nativo da AWS, totalmente gerenciado pela AWS Básico, OAuth2, chave de API. Você é responsável por implementar a validação de credenciais durante a ingestão.
Custos de entrega entre contas $1 por milhão de eventos 0,20 USD por milhão de eventos

Acesse as páginas de cotas e preços do EventBridge para obter mais detalhes.

Arquitetura de processamento

O processamento normalmente seria feito por produtos e serviços existentes fornecidos pela equipe do AppSec ou pelo fornecedor de segurança na nuvem para análise de atividades. A arquitetura do pipeline de processamento de eventos que opera em escala corporativa deve considerar as decisões de projeto para lidar com volumes de eventos grandes e potencialmente irregulares e, ao mesmo tempo, manter o alto desempenho, conforme mostrado na figura a seguir.

Figura 6. Um pipeline de processamento de eventos de atividades, com processamento baseado em prioridades.

Use as seguintes práticas recomendadas para uma arquitetura de processamento robusta:

  • Eventos ingeridos pelo buffer Use serviços como Amazon SQS, Amazon Kinesis Data Streams ou Amazon Managed Streaming para Apache Kafka para armazenar eventos recebidos, lidar com picos de tráfego e garantir um processamento confiável.
  • Use serviços Serverless que escalam automaticamente ou invista em mecanismos de escalabilidade automatizados que ajustam a capacidade de processamento com base no volume de eventos
  • Minimize a pesquisa: recorra à pesquisa inteligente sob demanda, faça pesquisas somente quando precisar de dados adicionais que não estejam disponíveis na carga útil do evento do CloudTrail.
  • Roteamento e classificação: em vez de processar todos os eventos igualmente, implemente classificação e roteamento inteligentes logo no início de seu pipeline. Eventos relacionados à segurança, como alterações no IAM ou modificações no grupo de segurança, devem ter prioridade sobre atividades rotineiras ou eventos de dados. Essa abordagem ajuda a controlar os custos e, ao mesmo tempo, a manter a detecção rápida de eventos de segurança importantes.
  • Otimização de custos: na escala corporativa, a otimização de custos se torna crucial. Use as regras do EventBridge nas contas de origem para filtrar eventos irrelevantes antes que eles entrem em seu pipeline de processamento. Considere a implementação de pontos de coleta regionais para otimizar os custos de transferência de dados. Ao usar as funções do Lambda para processamento de dados, use o processamento em lote para reduzir os custos de invocação. Avalie quais tipos de eventos devem ser entregues em tempo real por meio do EventBridge, quais tipos de eventos podem ser atrasados e coletados por meio da exportação de bucket do S3 e quais eventos devem ser descartados.
  • Observabilidade: monitore a taxa de transferência de ingestão e processamento para reagir precocemente a possíveis lentidões. Detecte quando as contas de origem estão se aproximando das cotas do EventBridge. Considere usar as cotas de serviços da AWS para solicitar aumentos de cotas automaticamente por meio de APIs.
  • Considerações entre regiões: projete sua arquitetura para oferecer suporte à coleta eficiente de eventos entre regiões, respeitando os requisitos de soberania de dados. Considere implementar nós de processamento regionais com agregação centralizada para análise de segurança global.
  • Padrões de integração: as soluções de segurança modernas devem se integrar às ferramentas e fluxos de trabalho de segurança existentes. Implemente formatos de saída padronizados que permitam uma integração perfeita com sistemas SIEM, plataformas de emissão de bilhetes e estruturas de automação. Considere publicar as descobertas de segurança nos barramento da EventBridge para permitir fluxos de trabalho de remediação automatizados. Se você é um fornecedor de segurança na nuvem, considere a integração com a EventBridge como parceiro de SaaS.

Conclusão

As arquiteturas orientadas por eventos apresentam uma oportunidade poderosa para criar soluções escaláveis de monitoramento de atividades com várias contas. O uso de serviços como o AWS CloudTrail e o Amazon EventBridge permite que as equipes superem as limitações das abordagens tradicionais baseadas em pesquisas e, ao mesmo tempo, obtenham uma entrega quase em tempo real. A mudança para o monitoramento de segurança orientado por eventos não é apenas uma escolha arquitetônica — está se tornando uma necessidade para equipes que operam em escala empresarial. Essa abordagem permite que as equipes de segurança obtenham os recursos de detecção de ameaças em tempo real necessários nos ambientes de nuvem atuais, mantendo a eficiência operacional e o controle de custos.

Este conteúdo foi traduzido da postagem original do blog, que pode ser encontrada aqui.

Autores

Anton Aleksandrov é Principal Specialist Solutions Architect para Serverless na Amazon Web Services (AWS).
Joe Alioto é um especialista Senior GTM na Amazon Web Services (AWS).

Tradutor

Daniel Abib é Arquiteto de Soluções Sênior e Especialista em Amazon Bedrock na AWS, com mais de 25 anos trabalhando com gerenciamento de projetos, arquiteturas de soluções escaláveis, desenvolvimento de sistemas e CI/CD, microsserviços, arquitetura Serverless & Containers e especialização em Machine Learning. Ele trabalha apoiando Startups, ajudando-os em sua jornada para a nuvem.

https://www.linkedin.com/in/danielabib/

Revisor

Rodrigo Peres é Arquiteto de Soluções na AWS, com mais de 20 anos de experiência trabalhando com arquitetura de soluções, desenvolvimento de sistemas e modernização de sistemas legados.