E

elk-stack

Basic log ingestion pipeline

O projeto tem como objetivo coletar dados de qualidade do ar provenientes de estações distribúidas pelo Brasil, realizar o processamento e enriquencimento dos dados e os indexar no ElasticSearch.

Os dados são provenientes de API's com índices de qualidade do ar vindos de estações ao longo do Continente. Estes dados são filtrados para retornar apenas do Brasil, processados e enriquencidos com bibliotecas da linguagem Python e indexados no banco de dados não relacional ElasticSearch.

English: The project collects API data on traffic, users, holidays and weather, processes it and indexes it in ElasticSearch. It also performs geoqueries to update existing documents with climate data and other information. The project features a docker-compose to upload scripts as services to be run on a server.

Pt-BR: O projeto realiza coleta de dados de API de trânsito, usuários, feriados e clima, realiza o processamento dos mesmos e os indexa no ElasticSearch. Também realiza geoqueries para atualizar os documentos existentes com dados climáticos e outras informações. O projeto apresenta um docker-compose para subir os scripts como serviços a serem executados em um servidor.

ELK stack + Beats + NGINX + Apache Kafka + Grafana on AWS configured with Ansible

ELK + Arduino (MQ-2 and DHT11) for monitoring humidity, temperature and gas.