Le didacticiel Apache Kafka fournit les concepts de base et avancés d'Apache Kafka. Ce tutoriel s'adresse aussi bien aux débutants qu'aux professionnels.
Apache Kafka est une plate-forme logicielle de traitement de flux open source utilisée pour gérer le stockage de données en temps réel. Il fonctionne comme un intermédiaire entre deux parties, c'est-à-dire un expéditeur et un destinataire. Il peut gérer environ des milliards d’événements de données par jour.
Le parcours du didacticiel Apache Kafka couvrira tous les concepts, de son architecture à ses concepts de base.
parcours de vente par correspondance
Qu'est-ce qu'Apache Kafka
Apache Kafka est une plateforme logicielle basée sur un processus de streaming distribué. Il s'agit d'un système de messagerie de publication-abonnement qui permet également l'échange de données entre applications, serveurs et processeurs. Apache Kafka a été initialement développé par LinkedIn , et plus tard, il a été donné à l'Apache Software Foundation. Actuellement, il est entretenu par Confluent sous Apache Software Foundation. Apache Kafka a résolu le problème léthargique de la communication de données entre un expéditeur et un destinataire.
Qu'est-ce qu'un système de messagerie
Un système de messagerie est un simple échange de messages entre deux ou plusieurs personnes, appareils, etc. Un système de messagerie de publication-abonnement permet à un expéditeur d'envoyer/d'écrire le message et à un destinataire de lire ce message. Dans Apache Kafka, un expéditeur est appelé producteur qui publie des messages, et un destinataire est connu sous le nom de consommateur qui consomme ce message en s'y abonnant.
Qu'est-ce que le processus de streaming
Un processus de streaming est le traitement de données dans des systèmes connectés en parallèle. Ce processus permet à différentes applications de limiter l'exécution parallèle des données, où un enregistrement s'exécute sans attendre la sortie de l'enregistrement précédent. Par conséquent, une plate-forme de streaming distribuée permet à l'utilisateur de simplifier la tâche du processus de streaming et de l'exécution parallèle. Par conséquent, une plate-forme de streaming dans Kafka possède les fonctionnalités clés suivantes :
- Dès que les flux d'enregistrements se produisent, il les traite.
- Il fonctionne de manière similaire à un système de messagerie d'entreprise où il publie et souscrit des flux d'enregistrements.
- Il stocke les flux d'enregistrements de manière durable et tolérante aux pannes.
Pour apprendre et comprendre Apache Kafka, les aspirants doivent connaître les quatre API principales suivantes :
opérateurs javascript
API du producteur : Cette API permet/permet à une application de publier des flux d'enregistrements sur un ou plusieurs sujets. (discuté dans la section ultérieure)
API grand public : Cette API permet à une application de s'abonner à un ou plusieurs sujets et de traiter le flux d'enregistrements qui y sont produits.
API de flux : Cette API permet à une application de transformer efficacement les flux d'entrée en flux de sortie. Il permet à une application d'agir comme un processeur de flux qui consomme un flux d'entrée provenant d'un ou plusieurs sujets et produit un flux de sortie vers un ou plusieurs sujets de sortie.
API du connecteur : Cette API exécute les API de producteur et de consommateur réutilisables avec les systèmes de données ou les applications existants.
Pourquoi Apache Kafka
Apache Kafka est une plate-forme logicielle qui présente les raisons suivantes qui décrivent le mieux le besoin d'Apache Kafka.
- Apache Kafka est capable de gérer des millions de données ou de messages par seconde.
- Apache Kafka fonctionne comme médiateur entre le système source et le système cible. Ainsi, les données du système source (producteur) sont envoyées à Apache Kafka, où elles découplent les données, et le système cible (consommateur) consomme les données de Kafka.
- Apache Kafka a des performances extrêmement élevées, c'est-à-dire qu'il a une valeur de latence très faible, inférieure à 10 ms, ce qui prouve qu'il s'agit d'un logiciel très expérimenté.
- Apache Kafka possède une architecture résiliente qui a résolu des complications inhabituelles dans le partage de données.
- Des organisations telles que NETFLIX, UBER, Walmart, etc. et des milliers d'entreprises de ce type utilisent Apache Kafka.
- Apache Kafka est capable de maintenir la tolérance aux pannes. La tolérance aux pannes signifie que parfois un consommateur consomme avec succès le message délivré par le producteur. Mais le consommateur ne parvient pas à traiter le message en raison d'une défaillance de la base de données principale ou de la présence d'un bogue dans le code du consommateur. Dans une telle situation, le consommateur ne peut plus consommer le message. Par conséquent, Apache Kafka a résolu le problème en retraitant les données.
- Apprendre Kafka est une bonne source de revenus. Ainsi, ceux qui souhaitent augmenter leurs revenus à l’avenir dans le secteur informatique peuvent apprendre.
Prérequis
Les candidats doivent avoir des connaissances de base en programmation Java et une certaine connaissance des commandes Linux.
Public
Ce parcours Apache Kafka est conçu pour les débutants, les développeurs et les personnes qui souhaitent apprendre de nouvelles choses.
exemple de
Problèmes
Nous vous assurons que vous ne rencontrerez aucun problème dans ce didacticiel Apache Kafka. Mais s'il y a une erreur, veuillez signaler le problème dans un formulaire de contact.