🗃️ Negócios
1 items
📄️ Mudanças na Arquitetura
A solução anterior proposta é uma arquitetura IoT robusta que utiliza serviços gerenciados da AWS para coletar, processar e visualizar dados provenientes de dispositivos IoT simulados. Essa solução é composta por vários componentes interconectados, cada um desempenhando um papel fundamental no fluxo de dados. Vamos explorar brevemente as mudanças propostas na arquitetura da solução ao longo da sprint 4.
📄️ Kafka
O Apache Kafka é uma plataforma de streaming distribuída que é usada para publicar e subscrever fluxos de dados, armazenar fluxos de dados e processar fluxos de dados em tempo real. Ele é projetado para lidar com grandes volumes de dados em tempo real de uma maneira altamente escalável.
📄️ Testes de escalabilidade
Teste de Integridade de Dados sob Alto Volume de Requisições
📄️ Confluent Cloud - Kafka
O Confluent Cloud é um serviço de streaming de dados gerenciado que permite a ingestão, transformação e armazenamento de dados em tempo real. O Confluent Cloud é baseado no Apache Kafka, um sistema de mensagens distribuído que permite a comunicação entre diferentes partes de um sistema. O Kafka é amplamente utilizado em aplicações de streaming de dados, como análise em tempo real, processamento de eventos e integração de sistemas.
📄️ Lambda Produce
O AWS Lambda é um serviço de computação sem servidor que permite executar código em resposta a eventos. Ele é altamente escalável e pode ser usado para processar eventos em tempo real, como a ingestão de dados de um tópico do Confluent Cloud. Neste documento, vamos explorar como o AWS Lambda pode ser usado para produzir dados em um tópico do Confluent Cloud.
📄️ Auto Scalling da Arquitetura
O auto scalling é uma técnica utilizada para ajustar automaticamente a capacidade de processamento de uma aplicação de acordo com a demanda. No contexto da arquitetura do projeto, o auto scalling é utilizado para ajustar a quantidade de instâncias do Confluent de acordo com a quantidade de mensagens recebidas no tópico do IoT Core e também no provisionamento de instâncias do Metabase.
📄️ Metabase
O Metabase é uma ferramenta de software de código aberto projetada para simplificar a análise e a visualização de dados. Ele oferece uma interface intuitiva que permite aos usuários criar consultas, gráficos e painéis interativos sem a necessidade de conhecimento avançado em SQL ou programação. O Metabase suporta a conexão com uma variedade de bancos de dados, como MySQL, PostgreSQL e MongoDB, entre outros.
📄️ Testes da pipeline de dados
Esta documentação descreve os testes realizados na pipeline de dados desenvolvida para coleta e processamento de informações sobre poluição sonora e de gases. O objetivo desses testes é garantir a integridade e o funcionamento adequado da pipeline.