Vous souhaitez travailler dans le Big Data en tant que Data Engineer?

Si c'est le cas, alors il vous faut être conscient d'une chose : de plus en plus de cas d'usage et de modèles économiques s'appuient sur des données générées en streaming (ou en flux continu). Il peut s'agir de la publicité en ligne avec la facturation par clic, l'analyse du parcours client, la recommandation en temps réel, la détection de fraude, la cyber-sécurité (spécialement avec l'utilisation des SIEM), le tracking des achats, l'analyse omnicanal, ou encore les objets intelligents (compteurs Linky, robots industriels, etc.). Ces cas d'usage ont atteint leur paroxysme depuis les années 2018 avec les objets connectés, l'intégration des capteurs dans les objets de la vie courante (voiture, réfrigérateur, télévision, etc.). C'est ce type de cas d'usage, caractérisé par une collecte à flux continu et un traitement en temps quasi-réel qu'on qualifie par "Streaming" ou "Big Data Streaming".

D'un point de vue conceptuel, pour résoudre ces problématiques, les entreprises doivent mettre en place des pipelines streaming, c'est-à-dire des chaînes automatisées qui gèrent la donnée sur tout son cycle de vie, de son arrivée dans le système jusqu'à sa consommation par les métiers. A la différence des applications développées en Spark qui tournent de façon périodique indépendamment de la fréquence d'arrivée des données, les pipelines streaming traitent la donnée immédiatement dès que celle-ci arrive dans le système, en temps réel.

Nous vous offrons cette formation de 1h51min pour vous initier au développement d'applications Streaming et temps réel avec Apache Kafka et Kafka Streams.

Bonne formation !