Calcul de tarif de taxi en temps réel
Ce projet, développé dans le cadre d'une initiative d'apprentissage, met en avant une plateforme back-end capable de calculer les tarifs des taxis en temps réel. Il s'appuie sur des technologies avancées telles qu'Apache Kafka pour le traitement des flux de données, ElasticSearch pour l'indexation et la supervision, ainsi que Google BigQuery pour l'analyse des clusters et des revenus. La plateforme offre une estimation dynamique des tarifs en fonction de la distance entre les chauffeurs et les clients, tout en prenant en compte les niveaux de confort choisis et les clusters géographiques. Conçue pour être évolutive et performante, cette solution illustre des approches innovantes pour le traitement des données en temps réel et la visualisation perspicace des revenus.
BIGQUERYELASTICSEARCHKIBANAKAFKAGCPAPACHE-NIFI
1 min lire
Fonctionnalités principales
Calcul des tarifs en temps réel : Estime dynamiquement les tarifs des taxis en fonction de la distance, du niveau de confort choisi et du regroupement géographique.
Traitement des données en streaming : Exploite Apache Kafka pour l'ingestion et le traitement en temps réel des données de localisation des chauffeurs et des clients.
Clustering et analyse des revenus : Utilise BigQuery ML pour le clustering K-Means afin d'analyser la distribution des revenus par cluster géographique et niveau de confort.
Intégration avec ElasticSearch : Permet une indexation efficace des données, un suivi des performances, et une visualisation en temps réel via Kibana.
Entrepôt de données évolutif : Stocke plus de 10 000 enregistrements au format .parquet à l’aide de Google BigQuery pour des analyses et rapports approfondis.
Visualisation complète des données : Les résultats des clusters et les tendances de revenus sont présentés avec clarté grâce à Looker Studio.
Stack Technologique
Langage de programmation : Python
Streaming et messagerie : Apache Kafka
Indexation et supervision : ElasticSearch, Kibana
Entrepôt de données et analytique : Google BigQuery, BigQuery ML
Transformation des données : Apache Nifi, processeur Java personnalisé
Format de données : Parquet
Visualisation : Looker Studio