Comment choisir une plateforme de données en streaming

Les données de streaming sont générées en continu, souvent par des milliers de sources de données, telles que des capteurs ou des journaux de serveur. Les enregistrements de données en continu sont souvent petits, peut-être quelques kilo-octets chacun, mais ils sont nombreux et, dans de nombreux cas, le flux continue sans jamais s’arrêter. Dans cet article, nous fournirons quelques informations générales et discuterons de la manière de choisir une plate-forme de données de streaming.

Comment fonctionnent les plateformes de données de streaming ?

Ingestion et exportation de données. En général, l’ingestion et l’exportation de données sont gérées via des connecteurs de données spécialisés pour les systèmes étrangers. Dans certains cas, il existe un processus ETL (extraction, transformation et chargement) ou ELT (extraction, chargement et transformation) pour réorganiser, nettoyer et conditionner les données pour leur destination.

L’ingestion pour le streaming de données lit souvent les données générées par plusieurs sources, parfois des milliers d’entre elles, comme dans le cas des appareils IoT (Internet des objets). L’exportation de données se fait parfois vers un entrepôt de données ou un lac de données pour une analyse approfondie et un apprentissage automatique.

Pub/sub et sujets. De nombreuses plates-formes de données de streaming, y compris Apache Kafka et Apache Pulsar, implémentent un modèle de publication et d’abonnement, avec des données organisées en sujets. Les données ingérées peuvent être étiquetées avec un ou plusieurs sujets, afin que les clients abonnés à l’un de ces sujets puissent recevoir les données. Par exemple, dans un cas d’utilisation de publication d’actualités en ligne, un article sur le discours d’un politicien peut être étiqueté comme Breaking News, US News, and Politics, afin qu’il puisse être inclus dans chacune de ces rubriques par le logiciel de mise en page sous la supervision du rédacteur (humain) de la rubrique.