vendredi, 1 mars 2024

Un astronome donne un coup de pouce à l’orchestration des données de la plateforme Apache Airflow pour l’IA

L’obtention de données vers et depuis différents systèmes relève souvent du domaine de l’orchestration de l’information. Il s’agit de l’un des outils les plus largement utilisés dans la technologie open source Apache Air Flow, produite à l’origine par Airbnb.

Aujourd’hui, Astronomer, le principal sponsor industriel derrière le projet Apache Airflow, présente sa plateforme Astro la plus récente. mise à jour, fournissant une assistance aux entreprises, des améliorations en matière de sécurité et de gestion. Alors qu’Air Flow a fait ses débuts en aidant à l’orchestration des pipelines d’informations pour l’analyse des données et l’intelligence organisationnelle, l’innovation est désormais progressivement utilisée pour assister les charges de travail de systèmes experts (IA) et d’apprentissage automatique (ML).

« Le flux d’air est excellent dans un certain nombre de choses, l’une d’elles consiste simplement à composer et à exécuter des pipelines de données », a déclaré Julian LaNeve, CTO chez Astronomer à VentureBeat. « Le flux d’air vous permet de spécifier les pipelines sous forme de code, vous pouvez donc faire tout ce que le code vous permet de faire, ce qui est fondamentalement illimité. »

Pourquoi Airflow est vital pour l’orchestration des données moderne

LaNeve a expliqué qu’Airflow est devenu populaire ces dernières années car il permet aux organisations de définir, de construire et de déployer davantage de pipelines d’informations. rapidement.

Événement VB

Le voyage sur les effets IA

Entrez en contact avec la communauté IA des entreprises lors du voyage sur les effets IA de VentureBeat qui se déroule dans une ville près de chez vous !

En savoir plus Le flux d’air s’intègre avec

plates-formes de données et systèmes de fournisseurs de cloud

, notamment Snowflake, Databricks, AWS, Microsoft et Cloud. LaNeve a noté que même si le projet open source est relativement simple à utiliser pour une seule équipe, il finit par être de plus en plus complexe à gérer à l’échelle de l’entreprise. C’est là qu’Astronomer entre en jeu, proposant un service géré pour Apache Airflow. Astronomer fournit également des capacités supplémentaires en plus de l’innovation open source de base. « Nous avons en fait construit une couche au-dessus d’Airflow que nous appelons le runtime Astronomer, où nous avons pris le travail open source et effectué un certain nombre d’ajustements pour apporter il fonctionne plus efficacement », a déclaré LaNeve. Astronomer a également développé des outils dans le cadre de sa plate-forme Astro qui facilitent grandement l’écriture de pipelines de données

. L’IDE Astro Cloud de la société propose un outil basé sur un bloc-notes pour écrire des pipelines d’informations. LaNeve a ajouté qu’Astronomer a également commencé à travailler dans le domaine de l’observabilité, en comprenant comment les données se déplacent dans l’ensemble de l’environnement. Astronomer améliore les connexions et les mises à niveau Avec sa nouvelle mise à jour de la plateforme Astro, Astronomer apporte désormais une série de capacités améliorées à

sa plateforme. L’une des choses les plus essentielles et les plus difficiles de tout pipeline d’informations est d’être lié aux données de manière sécurisée. Avec la mise à niveau Astro, il existe une toute nouvelle mise à niveau de gestion des connexions pour aider à résoudre ce problème. La fonctionnalité de gestion des connexions agit comme un point central de gouvernance, d’exposition et de sécurité pour les pipelines d’informations. « Nous avons intégré une fonctionnalité de gestion des connexions dans la plate-forme Astro qui permet à un administrateur d’être disponible et de spécifier les connexions à Snowflake, Databricks et partout où cela Le flux d’air peut y accéder », a déclaré LaNeve. La mise à niveau de la plateforme Astro permet également des mises à niveau et des restaurations plus simples pour les configurations de pipeline d’informations. En cas de défaillance d’un pipeline d’informations, un utilisateur peut désormais rapidement revenir à une configuration précédente pour les charges de travail de production. Pour les mises à niveau, la plateforme exécutera également une série de vérifications pour garantir d’abord que le code de la mise à jour est compatible et fonctionnera comme prévu. Astronomer double l’IA Astronomer est largement utilisé pour les flux de travail d’IA. Fin novembre, Astronomer a révélé une série de combinaisons dans le paysage de l’IA avec des fournisseurs tels que OpenAI, Cohere, Pinecone, OpenSearch, Weaviate et pgvector. Astronomer a également construit une

architecture de référence expliquant comment les organisations peuvent créer et publier des applications de conception en grand langage (LLM). L’application Ask.astronomer.io est une démonstration publique de l’architecture et peut extraire de la documentation provenant de plus d’une douzaine de sources différentes grâce à une technique de récupération

génération augmentée (RAG). LaNeve a déclaré qu’il considère également qu’Airflow et la plate-forme Astro sont couramment utilisés pour soutenir la formation des conceptions d’IA. « En fin de compte, vous souhaitez que vos conceptions soient formées avec les données actuelles et vous voulez que cela se produise de manière fiable », a déclaré LaNeve. « C’est exactement pour cela qu’Astronomer and Air flow a été conçu. « La mission de VentureBeat est d’être une place publique numérique pour la décision technique. -makers d’acquérir des connaissances sur les technologies d’entreprise transformatrices et d’effectuer des transactions.

Découvrez nos briefings.

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici